À propos du projet
ONNX Runtime est un accélérateur d'apprentissage automatique multiplateforme conçu à la fois pour l'inférence et l'entraînement.
Les capacités clés incluent :
- Accélération de l'inférence : Prend en charge les modèles de frameworks de deep learning tels que PyTorch et TensorFlow/Keras, ainsi que les bibliothèques de ML classiques comme scikit-learn, LightGBM et XGBoost. Il optimise les performances grâce à des transformations de graphes et des accélérateurs matériels sur divers systèmes d'exploitation et pilotes.
- Accélération de l'entraînement : Fournit une accélération pour l'entraînement de modèles transformer sur des GPU NVIDIA multi-nœuds, en s'intégrant aux scripts d'entraînement PyTorch existants.
Le projet est compatible avec plusieurs configurations matérielles et propose un ensemble complet de documentation, de tutoriels et de dépôts d'exemples pour les flux de travail d'inférence et d'entraînement.