اوپن سورس۔ نئے امکانات۔

Xinference ایک متحد inference لائبریری ہے جو زبان، تقریر، اور ملٹی موڈل ماڈلز کی خدمت کرتی ہے۔ یہ OpenAI-مطابق RESTful API، متفاوت GPU/CPU استعمال، تقسیم شدہ تعیناتی فراہم کرتی ہے، اور LangChain، LlamaIndex، Dify، اور Chatbox کے ساتھ مربوط ہے۔

UL-SMF ایک KV کیش کمپریشن فریم ورک ہے جو طویل سیاق و سباق کے Transformer انفرنس کے لیے ہے، جس میں FSQ اور 16D لیٹنٹ میپنگ کے ذریعے 384x تک کمپریشن کا دعویٰ کیا گیا ہے۔ بنیادی کمپریشن منطق ایک ملکیتی بند سورس بائنری پر منحصر ہے۔

WildReality DreamEngine ایک اوپن سورس AI سمولیشن انجن ہے جو LLM پر مبنی رول پلے اور ورلڈ سمولیشن کے لیے بنایا گیا ہے۔ یہ Electron/NodeJS ایپ کے طور پر مستقل ورلڈ اسٹیٹ، کرداروں کے ارتقاء، اور اسکرپٹڈ رویوں کو سپورٹ کرتا ہے۔