openvino

OpenVINO™ 是一个开源软件工具包，旨在优化和部署用于 AI 推理的深度学习模型。它可提升计算机视觉、自动语音识别、生成式 AI 和自然语言处理任务的性能。该工具包支持使用 PyTorch、TensorFlow、ONNX、Keras、PaddlePaddle 和 JAX/Flax 等流行框架训练的模型，并通过 Optimum Intel 与 Hugging Face 集成。它可在从边缘到云的广泛平台上运行，包括 CPU（x86、ARM）、GPU（英特尔集成和独立显卡）以及英特尔 NPU 加速器。OpenVINO 提供 C++、Python、C 和 NodeJS API，以及用于优化模型流水线的 GenAI API。可通过 pip、conda、npm 和 Homebrew 安装。该仓库包含教程、notebook 和示例，用于快速入门、LLM 驱动的聊天机器人、YOLO 优化、文本到图像生成、多模态助手和语音识别。它还提供 NNCF 等模型压缩工具、用于可扩展服务的 OpenVINO Model Server，以及与 vLLM、ONNX Runtime、LangChain、LlamaIndex 和 Keras 3 的集成。该项目采用 Apache License 2.0 许可，并欢迎社区贡献。