openvino

OpenVINO™는 AI 추론을 위한 딥러닝 모델을 최적화하고 배포하도록 설계된 오픈소스 소프트웨어 툴킷입니다. 컴퓨터 비전, 자동 음성 인식, 생성형 AI, 자연어 처리 작업에서 성능을 향상시킵니다. 이 툴킷은 PyTorch, TensorFlow, ONNX, Keras, PaddlePaddle, JAX/Flax와 같은 널리 사용되는 프레임워크로 훈련된 모델을 지원하며, Optimum Intel을 통해 Hugging Face와 통합됩니다. 엣지부터 클라우드까지 다양한 플랫폼에서 실행되며, CPU(x86, ARM), GPU(Intel 내장 및 개별), Intel NPU 가속기를 포함합니다. OpenVINO는 C++, Python, C, NodeJS용 API와 최적화된 모델 파이프라인을 위한 GenAI API를 제공합니다. 설치 방법은 pip, conda, npm, Homebrew를 통해 제공됩니다. 저장소에는 빠른 시작, LLM 기반 챗봇, YOLO 최적화, 텍스트-이미지 생성, 멀티모달 어시스턴트, 음성 인식을 위한 튜토리얼, 노트북, 샘플이 포함되어 있습니다. 또한 모델 압축을 위한 NNCF, 확장 가능한 서빙을 위한 OpenVINO Model Server, vLLM, ONNX Runtime, LangChain, LlamaIndex, Keras 3와의 통합과 같은 도구도 제공합니다. 이 프로젝트는 Apache License 2.0에 따라 라이선스가 부여되며 커뮤니티 기여를 환영합니다.