inferencexorbitsai
নতুনXinference একটি ইউনিফাইড ইনফারেন্স লাইব্রেরি যা ভাষা, বক্তৃতা এবং মাল্টিমোডাল মডেল পরিবেশন করে। এটি OpenAI-সামঞ্জস্যপূর্ণ RESTful API, হেটেরোজেনিয়াস GPU/CPU ব্যবহার, বিতরণকৃত ডিপ্লয়মেন্ট এবং LangChain, LlamaIndex, Dify, Chatbox-এর সাথে ইন্টিগ্রেশন প্রদান করে।