اوپن سورس۔ نئے امکانات۔

Open Dungeon is a fully local AI roleplay app that generates stories and inline scene images on your machine using Ollama and FLUX, without cloud services or API keys.

Unsloth ایک ڈیسک ٹاپ ایپلی کیشن اور فریم ورک ہے جو Windows، macOS اور Linux پر مقامی طور پر لارج لینگویج ماڈلز (LLMs) اور ڈیفیوژن ماڈلز کو چلانے اور ٹرین کرنے کے لیے استعمال ہوتا ہے۔

Xinference ایک متحد inference لائبریری ہے جو زبان، تقریر، اور ملٹی موڈل ماڈلز کی خدمت کرتی ہے۔ یہ OpenAI-مطابق RESTful API، متفاوت GPU/CPU استعمال، تقسیم شدہ تعیناتی فراہم کرتی ہے، اور LangChain، LlamaIndex، Dify، اور Chatbox کے ساتھ مربوط ہے۔

UL-SMF ایک KV کیش کمپریشن فریم ورک ہے جو طویل سیاق و سباق کے Transformer انفرنس کے لیے ہے، جس میں FSQ اور 16D لیٹنٹ میپنگ کے ذریعے 384x تک کمپریشن کا دعویٰ کیا گیا ہے۔ بنیادی کمپریشن منطق ایک ملکیتی بند سورس بائنری پر منحصر ہے۔

LlamaFactory ایک اوپن سورس فریم ورک ہے جو بڑے لینگویج ماڈلز اور ملٹی موڈل ماڈلز کی فائن ٹیوننگ کے لیے استعمال ہوتا ہے، جس میں کمانڈ لائن انٹرفیس، Gradio ویب UI، LoRA/QLoRA اور متعدد ٹریننگ الگورتھم شامل ہیں۔

Ollama ایک ایسا ٹول ہے جو صارفین کو macOS، Windows اور Linux پر مقامی طور پر اوپن سورس لارج لینگویج ماڈلز چلانے، ان کا انتظام کرنے اور ان کے ساتھ بلڈ کرنے کی اجازت دیتا ہے۔

Hugging Face Transformers مشین لرننگ کے لیے ایک ماڈل ڈیفینیشن فریم ورک ہے جو ٹیکسٹ، ویژن، آڈیو اور ملٹی موڈل ٹاسکس کے لیے استعمال ہوتا ہے۔ یہ 1 ملین سے زیادہ پری ٹرینڈ چیک پوائنٹس کے ساتھ انفرنس اور ٹریننگ کے لیے ایک متحد API فراہم کرتا ہے۔