اوپن سورس۔ نئے امکانات۔

ایک AI-پاورڈ کمانڈ-لائن پروڈکٹیویٹی ٹول جو شیل کمانڈز، کوڈ اسنیپٹس، اور دستاویزات تیار کرتا ہے۔ یہ چیٹ/REPL موڈز، کسٹم رولز، اور فنکشن کالنگ کو سپورٹ کرتا ہے، اور Linux، macOS، اور Windows کے ساتھ مطابقت رکھتا ہے۔

SGLang بڑے لسانی ماڈلز (LLMs) اور ملٹی موڈل ماڈلز کے لیے ایک اعلیٰ کارکردگی والا سرونگ فریم ورک ہے، جسے کم تاخیر اور زیادہ تھروپٹ انفرنس کے لیے ڈیزائن کیا گیا ہے۔

PocketRisu ایک خود-ہوسٹڈ AI رولپلے چاٹ پلیٹ فارم ہے جو RisuAI سے فورک کی گئی ہے، جس سے آپ apni ذاتی سرور چلا سکتے ہیں جو PC، ٹیبلٹ اور فون پر ویب براؤزر کے ذریعے رسائی حاصل کر سکتے ہیں۔

Aider ایک ٹرمینل پر مبنی AI پیئر پروگرامنگ ٹول ہے جو ڈویلپرز کو نئے پروجیکٹس بنانے یا موجودہ کوڈ بیس میں ترمیم کرنے کے لیے LLMs کے ساتھ تعاون کرنے کی اجازت دیتا ہے۔

PowerInfer ایک مقامی LLM انجن ہے جو ایکٹیویشن لوکلٹی کا استعمال کرتے ہوئے بار بار استعمال ہونے والے نیوران GPU پر رکھتا ہے اور ان پٹ پر منحصر نیوران CPU پر چلاتا ہے۔ یہ ہائبرڈ یا CPU-only انفرنس، سروسنگ، بیچنگ، پرپلیکسیٹی ایویلیوایشن، INT4 کوانٹائزیشن، اور PowerInfer GGUF ماڈلز کو سپورٹ کرتا ہے۔

YuE2 ایک اوپن میوزک جنریشن ماڈل ہے جو علامتی منصوبہ بندی کو آڈیو ترکیب کے ساتھ یکجا کرتا ہے: یہ بول اور اسٹائل پرامپٹ کو قابلِ ترمیم دھن اور کورڈ اسکور میں بدلتا ہے، پھر آواز اور ہم آہنگی کے ساتھ مکمل گانا تیار کرتا ہے۔ یہ زیرو شاٹ کور اور ایجنٹک اسکور ایڈیٹنگ بھی سپورٹ کرتا ہے۔

vLLM ایک ہائی تھروپٹ اور میموری کے لحاظ سے موثر لائبریری ہے جسے Large Language Model (LLM) کے انفرنس اور سرونگ کے لیے ڈیزائن کیا گیا ہے۔

Repomix ایک CLI ٹول، ویب ایپ، اور براؤزر ایکسٹینشن ہے جو ایک مکمل کوڈ بیس کو ایک واحد فائل میں ضم کرتی ہے، جو Large Language Models (LLMs) کے لیے بہتر بنائی گئی ہے۔ یہ XML، Markdown، JSON، اور سادہ ٹیکسٹ سمیت متعدد آؤٹ پٹ فارمیٹس کو سپورٹ کرتی ہے، ہر ایک میں فائل خلاصے، ڈائریکٹری ٹریز، اور فائل کے مندرجات شامل ہوتے ہیں تاکہ AI کی سمجھ کو بہتر بنایا جا سکے۔

یہ ایک اوپن سورس چینی LLaMA اور Alpaca بڑے لینگویج ماڈل پروجیکٹ ہے، جو اصل LLaMA کی بنیاد پر چینی الفاظ کی فہرست بڑھاتا ہے اور دوبارہ تربیت دیتا ہے، جس میں انسٹرکشن ٹیوننگ ماڈل، LoRA وزن، تربیت اور کوانٹائزیشن ڈیپلائمنٹ اسکرپٹس شامل ہیں، اور مقامی CPU/GPU پر چلانے کی حمایت کرتا ہے۔

Unsloth ایک ڈیسک ٹاپ ایپلی کیشن اور فریم ورک ہے جو Windows، macOS اور Linux پر مقامی طور پر لارج لینگویج ماڈلز (LLMs) اور ڈیفیوژن ماڈلز کو چلانے اور ٹرین کرنے کے لیے استعمال ہوتا ہے۔

LocalAI ایک اوپن سورس، سیلف ہوسٹڈ AI انجن ہے جو کسی بھی ہارڈویئر پر LLMs، وژن، آواز، امیج اور ویڈیو ماڈلز چلاتا ہے، بشمول CPU-only۔ یہ OpenAI، Anthropic اور ElevenLabs کے قابلِ قبول APIs، آن ڈیمانڈ ماڈیولر بیک اینڈز، ملٹی یوزر تصدیق، اور RAG اور MCP کے ساتھ بلٹ ان ایجنٹس پیش کرتا ہے۔

Oumi ایک اوپن سورس پلیٹ فارم ہے جو فاؤنڈیشن ماڈل کے مکمل لائف سائیکل کے لیے ہے: ڈیٹا کی تیاری، تربیت اور فائن ٹیوننگ (SFT، LoRA، QLoRA، GRPO)، تشخیص، LLM ججز کے ساتھ ڈیٹا کی ترکیب، اور vLLM/SGLang کے ذریعے تعیناتی، ایک CLI اور کلاؤڈ جاب لانچنگ کے ساتھ۔

UL-SMF ایک KV کیش کمپریشن فریم ورک ہے جو طویل سیاق و سباق کے Transformer انفرنس کے لیے ہے، جس میں FSQ اور 16D لیٹنٹ میپنگ کے ذریعے 384x تک کمپریشن کا دعویٰ کیا گیا ہے۔ بنیادی کمپریشن منطق ایک ملکیتی بند سورس بائنری پر منحصر ہے۔

LlamaFactory ایک اوپن سورس فریم ورک ہے جو بڑے لینگویج ماڈلز اور ملٹی موڈل ماڈلز کی فائن ٹیوننگ کے لیے استعمال ہوتا ہے، جس میں کمانڈ لائن انٹرفیس، Gradio ویب UI، LoRA/QLoRA اور متعدد ٹریننگ الگورتھم شامل ہیں۔

AstrBot ایک کھلے ذریعے کے تمام ایجینٹ چیٹ بات ہیلپ ہے جو LLMs اور ایجینٹ فریم ورک کو QQ, Telegram, Slack, Feishu جیسے مقبول چیٹ ایپلیکیشنز سے جوڑتا ہے۔

Langchain-Chatchat Langchain اور ChatGLM، Qwen، Llama جیسے بڑے ماڈلز پر مبنی ایک اوپن سورس آف لائن RAG اور Agent ایپلیکیشن ہے، جو مقامی نالج بیس سوال و جواب، ملٹی ماڈل انفرنس فریم ورک انضمام، WebUI اور API خدمات کی حمایت کرتا ہے۔

Ollama ایک ایسا ٹول ہے جو صارفین کو macOS، Windows اور Linux پر مقامی طور پر اوپن سورس لارج لینگویج ماڈلز چلانے، ان کا انتظام کرنے اور ان کے ساتھ بلڈ کرنے کی اجازت دیتا ہے۔