عن المشروع

مكتبة Xorbits Inference (Xinference) هي مكتبة لخدمة نماذج اللغة والتعرف على الكلام والوسائط المتعددة. يمكن للمستخدمين نشر نماذج مدمجة أو مخصصة بأمر واحد. يدعم النظام واجهة برمجة تطبيقات RESTful المتوافقة مع OpenAI (بما في ذلك استدعاء الدوال)، وواجهات RPC و CLI و WebUI. يستخدم الأجهزة غير المتجانسة بذكاء عبر ggml، بما في ذلك وحدات معالجة الرسومات ووحدات المعالجة المركزية، ويتيح النشر الموزع عبر أجهزة أو آلات متعددة. تشمل التكاملات المدمجة LangChain و LlamaIndex و Dify و FastGPT و RAGFlow و MaxKB. تشمل الميزات الإضافية التجميع التلقائي، والتجميع المستمر عبر Xllamacpp، والخدمة المخصصة للوكلاء عبر Xagent، ودعم مجموعة واسعة من النماذج المدمجة مثل MiniCPM5 و Fish Audio و MonkeyOCR و Qwen3.8 وأنظمة متعددة الوسائط ونصوص إلى كلام. تشمل خيارات النشر Docker و Helm لـ Kubernetes وتثبيت pip.