このプロジェクトについて

Xorbits Inference（Xinference）は、言語モデル、音声認識、マルチモーダルモデルを提供するためのライブラリです。ユーザーは1つのコマンドで組み込みモデルまたはカスタムモデルをデプロイできます。このシステムは、OpenAI互換RESTful API（function callingを含む）、RPC、CLI、およびWebUIインターフェースに対応しています。ggmlを介してGPUやCPUを含む異種ハードウェアをインテリジェントに活用し、複数のデバイスやマシンをまたぐ分散デプロイを可能にします。組み込みの統合先には、LangChain、LlamaIndex、Dify、FastGPT、RAGFlow、MaxKBが含まれます。その他の機能には、自動バッチ処理、Xllamacppによるcontinuous batching、Xagentによるエージェントネイティブなサービング、そしてMiniCPM5、Fish Audio、MonkeyOCR、Qwen3.8、各種マルチモーダルおよびTTSシステムなど幅広い組み込みモデルのサポートがあります。デプロイオプションには、Docker、Kubernetes向けHelm、pipインストールが含まれます。