프로젝트 소개

Xorbits Inference (Xinference)는 언어, 음성 인식, 멀티모달 모델을 제공하는 라이브러리입니다. 사용자는 단일 명령으로 내장 또는 사용자 정의 모델을 배포할 수 있습니다. 이 시스템은 OpenAI 호환 RESTful API(함수 호출 포함), RPC, CLI, WebUI 인터페이스를 지원합니다. ggml을 통해 GPU와 CPU를 포함한 이기종 하드웨어를 지능적으로 활용하며, 여러 기기 또는 머신에 걸친 분산 배포를 가능하게 합니다. 내장 통합에는 LangChain, LlamaIndex, Dify, FastGPT, RAGFlow, MaxKB가 포함됩니다. 추가 기능으로는 자동 배칭, Xllamacpp를 통한 연속 배칭, Xagent를 통한 에이전트 네이티브 서빙, MiniCPM5, Fish Audio, MonkeyOCR, Qwen3.8 및 다양한 멀티모달 및 TTS 시스템과 같은 광범위한 내장 모델 지원이 있습니다. 배포 옵션에는 Docker, Kubernetes용 Helm, pip 설치가 포함됩니다.