onnxruntime

ONNX Runtime 是一款专为推理和训练设计的跨平台机器学习加速器。 其核心能力包括： - 推理加速：支持来自 PyTorch 和 TensorFlow/Keras 等深度学习框架，以及 scikit-learn、LightGBM 和 XGBoost 等经典机器学习库的模型。它通过图转换以及跨多种操作系统和驱动程序的硬件加速器来优化性能。 - 训练加速：为多节点 NVIDIA GPU 上的 transformer 模型训练提供加速，并可与现有的 PyTorch 训练脚本集成。 该项目兼容多种硬件配置，并为推理和训练工作流提供了全面的文档、教程和示例仓库。