اوپن سورس۔ نئے امکانات۔

vLLM ایک ہائی تھروپٹ اور میموری کے لحاظ سے موثر لائبریری ہے جسے Large Language Model (LLM) کے انفرنس اور سرونگ کے لیے ڈیزائن کیا گیا ہے۔

Mithril ایک کھلا ذریعہ ملٹی ماڈل آرکیسٹریشن انجن ہے جو Gemini، OpenAI، Anthropic، Groq اور مقامی GGUF ماڈلز کو ایک Ollama-مطابق API میں یکجا کرتا ہے۔ YAML میں ملٹی ایجنٹ ٹیمیں ترتیب دیں، 24 بلٹ ان ٹولز، Docker سپورٹ اور MCP انٹیگریشن کے ساتھ۔

OpenAI کے Whisper automatic speech recognition (ASR) ماڈل کے لیے ایک اعلیٰ کارکردگی والا C/C++ implementation، جسے ہلکے پھلکے اور کراس پلیٹ فارم تعیناتی کے لیے ڈیزائن کیا گیا ہے۔

Oumi ایک اوپن سورس پلیٹ فارم ہے جو فاؤنڈیشن ماڈل کے مکمل لائف سائیکل کے لیے ہے: ڈیٹا کی تیاری، تربیت اور فائن ٹیوننگ (SFT، LoRA، QLoRA، GRPO)، تشخیص، LLM ججز کے ساتھ ڈیٹا کی ترکیب، اور vLLM/SGLang کے ذریعے تعیناتی، ایک CLI اور کلاؤڈ جاب لانچنگ کے ساتھ۔

Xinference ایک متحد inference لائبریری ہے جو زبان، تقریر، اور ملٹی موڈل ماڈلز کی خدمت کرتی ہے۔ یہ OpenAI-مطابق RESTful API، متفاوت GPU/CPU استعمال، تقسیم شدہ تعیناتی فراہم کرتی ہے، اور LangChain، LlamaIndex، Dify، اور Chatbox کے ساتھ مربوط ہے۔

CTranslate2 کا استعمال کرتے ہوئے OpenAI کے Whisper ماڈل کا ایک تیز رفتار ورژن، جو ٹرانسکرپشن کی رفتار میں بہتری اور میموری کے کم استعمال کی پیشکش کرتا ہے۔

DeepSpeed ایک ڈیپ لرننگ آپٹیمائزیشن لائبریری ہے جسے بڑے پیمانے کے ماڈلز کی ٹریننگ اور انفرنس کو آسان، موثر اور کارآمد بنانے کے لیے ڈیزائن کیا گیا ہے۔

RunAnywhere ایک کراس-پلیٹ فارم SDK سویٹ ہے جو فونز، براؤزرز، ڈیسک ٹاپس، اور سرورز پر مکمل طور پر ڈیوائس پر AI ماڈلز کو چلانے کے لیے ہے۔ یہ ایک ہی سیمنٹک API کے ذریعے LLMs، ویژن، سپیچ، وائس ایجنٹس، RAG، ایمبیڈنگز، اور امیج جنریشن کو سپورٹ کرتا ہے۔

SGLang بڑے لسانی ماڈلز (LLMs) اور ملٹی موڈل ماڈلز کے لیے ایک اعلیٰ کارکردگی والا سرونگ فریم ورک ہے، جسے کم تاخیر اور زیادہ تھروپٹ انفرنس کے لیے ڈیزائن کیا گیا ہے۔

jetson-inference ایک C++ اور Python ڈیپ ویژن لائبریری ہے جو NVIDIA Jetson کے لیے ہے۔ یہ TensorRT سے انفرنس اور PyTorch سے تربیت کرتی ہے، مثالوں، پہلے سے تربیت یافتہ ماڈلز، اور درجہ بندی، شناخت، تقسیم، پوز، ایکشن، گہرائی، اور کیمرہ اسٹریمنگ کے لیے سبق فراہم کرتی ہے۔

MediaPipe گوگل کا کراس پلیٹ فارم فریم ورک اور لائیو اور اسٹریمنگ میڈیا کے لیے آن ڈیوائس مشین لرننگ حل کا مجموعہ ہے، جو Android، iOS، ویب، ڈیسک ٹاپ اور ایج ڈیوائسز پر وژن، ٹیکسٹ اور آڈیو کاموں کو کور کرتا ہے۔

YOLOv5 PyTorch میں آبجیکٹ کی دریافت، نمونہ سیکھنے اور تصویر کی طبقہ بندی کے لئے ایک تیز اور درست کمپیوٹر وژن فریم ورک ہے۔ یہ کسٹم ڈیٹا سیٹس پر تربیت دے سکتا ہے، مختلف ماخذوں سے نکالنے کی حمایت کرتا ہے، اور ONNX، TensorRT اور CoreML جیسے فارمیٹس میں ماڈلز برآمد کر سکتا ہے۔

کولووسل AI ایک اوپن سورس سسٹم ہے جو بڑے AI ماڈلز کی تربیت اور چلانے کو زیادہ سستا اور موثر بناتا ہے، جیسے LLMs، ڈفیوژن ماڈلز وغیرہ کے لیے پیئریل تربیتی حکمت عملیاں، میموری مینجمنٹ، اور انفرنس اسپیڈ اپ فراہم کرتا ہے۔