ওপেন সোর্স। নতুন সম্ভাবনা।

Xinference একটি ইউনিফাইড ইনফারেন্স লাইব্রেরি যা ভাষা, বক্তৃতা এবং মাল্টিমোডাল মডেল পরিবেশন করে। এটি OpenAI-সামঞ্জস্যপূর্ণ RESTful API, হেটেরোজেনিয়াস GPU/CPU ব্যবহার, বিতরণকৃত ডিপ্লয়মেন্ট এবং LangChain, LlamaIndex, Dify, Chatbox-এর সাথে ইন্টিগ্রেশন প্রদান করে।

UL-SMF হল দীর্ঘ-প্রসঙ্গ ট্রান্সফরমার ইনফারেন্সের জন্য একটি KV ক্যাশ কম্প্রেশন কাঠামো, যা FSQ এবং 16D ল্যাটেন্ট ম্যাপিংয়ের মাধ্যমে 384x পর্যন্ত কম্প্রেশন দাবি করে। মূল কম্প্রেশন লজিক একটি মালিকানাধীন বন্ধ-সোর্স বাইনারির উপর নির্ভরশীল।

ওপেন-সোর্স এলএলএম-চালিত রোলপ্লে সিমুলেশন ইঞ্জিন, ইলেকট্রন/নোডজেএস অ্যাপ হিসেবে নির্মিত। বৈশিষ্ট্য: স্থায়ী বিশ্ব অবস্থা, গতিশীল চরিত্র বিবর্তন, স্ক্রিপ্টেড আচরণ এবং যেকোনো ভাষা মডেলের সাথে সামঞ্জস্য।