Об этом проекте
ONNX Runtime — это кроссплатформенный ускоритель машинного обучения, предназначенный как для вывода (inference), так и для обучения.
Ключевые возможности включают:
- Ускорение вывода: поддержка моделей из таких фреймворков глубокого обучения, как PyTorch и TensorFlow/Keras, а также классических библиотек ML, таких как scikit-learn, LightGBM и XGBoost. Он оптимизирует производительность с помощью трансформаций графов и аппаратных ускорителей в различных операционных системах и драйверах.
- Ускорение обучения: обеспечивает ускорение обучения моделей transformer на многоузловых NVIDIA GPU, интегрируясь с существующими скриптами обучения PyTorch.
Проект совместим с множеством аппаратных конфигураций и предоставляет полный набор документации, руководств и репозиториев с примерами как для рабочих процессов вывода, так и для обучения.