À propos du projet

Xorbits Inference (Xinference) est une bibliothèque permettant de servir des modèles de langage, de reconnaissance vocale et multimodaux. Les utilisateurs peuvent déployer des modèles intégrés ou personnalisés avec une seule commande. Le système prend en charge une API RESTful compatible OpenAI (incluant l'appel de fonctions), RPC, CLI et des interfaces WebUI. Il utilise intelligemment le matériel hétérogène via ggml, y compris les GPU et CPU, et permet un déploiement distribué sur plusieurs dispositifs ou machines. Les intégrations intégrées incluent LangChain, LlamaIndex, Dify, FastGPT, RAGFlow et MaxKB. Des fonctionnalités supplémentaires couvrent le traitement par lots automatique, le traitement par lots continu via Xllamacpp, le service natif pour agents avec Xagent, et la prise en charge d'une large gamme de modèles intégrés tels que MiniCPM5, Fish Audio, MonkeyOCR, Qwen3.8, et divers systèmes multimodaux et TTS. Les options de déploiement incluent Docker, Helm pour Kubernetes, et l'installation via pip.