প্রকল্প সম্পর্কে

Xorbits Inference (Xinference) একটি লাইব্রেরি যা ভাষা, বক্তৃতা শনাক্তকরণ এবং মাল্টিমোডাল মডেল পরিবেশনের জন্য ব্যবহৃত হয়। ব্যবহারকারীরা একটি একক কমান্ড দিয়ে বিল্ট-ইন বা কাস্টম মডেল ডিপ্লয় করতে পারেন। সিস্টেমটি OpenAI-সামঞ্জস্যপূর্ণ RESTful API (ফাংশন কলিং সহ), RPC, CLI এবং WebUI ইন্টারফেস সমর্থন করে। এটি ggml-এর মাধ্যমে হেটেরোজেনিয়াস হার্ডওয়্যার (GPU এবং CPU সহ) বুদ্ধিমত্তার সাথে ব্যবহার করে এবং একাধিক ডিভাইস বা মেশিনে বিতরণকৃত ডিপ্লয়মেন্ট সক্ষম করে। বিল্ট-ইন ইন্টিগ্রেশনের মধ্যে রয়েছে LangChain, LlamaIndex, Dify, FastGPT, RAGFlow এবং MaxKB। অতিরিক্ত বৈশিষ্ট্যগুলির মধ্যে রয়েছে অটো-ব্যাচিং, Xllamacpp-এর মাধ্যমে কন্টিনিউয়াস ব্যাচিং, Xagent-এর মাধ্যমে এজেন্ট-নেটিভ সার্ভিং এবং MiniCPM5, Fish Audio, MonkeyOCR, Qwen3.8 সহ বিস্তৃত বিল্ট-ইন মডেল এবং বিভিন্ন মাল্টিমোডাল ও TTS সিস্টেমের সমর্থন। ডিপ্লয়মেন্ট বিকল্পগুলির মধ্যে রয়েছে Docker, Kubernetes-এর জন্য Helm এবং pip ইনস্টলেশন।