openvino

OpenVINO™ — это открытый программный набор инструментов, предназначенный для оптимизации и развертывания моделей глубокого обучения для вывода ИИ. Он повышает производительность в задачах компьютерного зрения, автоматического распознавания речи, генеративного ИИ и обработки естественного языка. Набор инструментов поддерживает модели, обученные с помощью популярных фреймворков, таких как PyTorch, TensorFlow, ONNX, Keras, PaddlePaddle и JAX/Flax, и интегрируется с Hugging Face через Optimum Intel. Он работает на широком спектре платформ от периферии до облака, включая CPU (x86, ARM), GPU (встроенные и дискретные Intel) и ускорители Intel NPU. OpenVINO предоставляет API на C++, Python, C и NodeJS, а также GenAI API для оптимизированных конвейеров моделей. Установка доступна через pip, conda, npm и Homebrew. Репозиторий включает учебные пособия, блокноты и примеры для быстрого старта, чат-ботов на основе LLM, оптимизации YOLO, генерации изображений по тексту, мультимодальных ассистентов и распознавания речи. Он также предлагает такие инструменты, как NNCF для сжатия моделей, OpenVINO Model Server для масштабируемого обслуживания и интеграции с vLLM, ONNX Runtime, LangChain, LlamaIndex и Keras 3. Проект лицензирован под Apache License 2.0 и приветствует вклад сообщества.