اوپن سورس۔ نئے امکانات۔

Gradio لائبریری کا استعمال کرتے ہوئے Stable Diffusion کے لیے ایک جامع ویب انٹرفیس، جو AI امیج جنریشن اور مینیپولیشن کے لیے وسیع پیمانے پر ٹولز فراہم کرتا ہے۔

AngelSlim ٹینسنٹ کا اوپن سورس ٹول کٹ ہے جو بڑے ماڈلز کے کمپریشن کے لیے ہے، جس میں کوانٹائزیشن، اسپیکیولیٹو ڈی کوڈنگ، اسپارس اٹینشن، ڈسٹلیشن اور ٹوکن پرووننگ شامل ہیں، اور vLLM اور SGLang کے لیے ڈیپلائمنٹ اسکرپٹس بھی۔

PEFT ایک ایسی لائبریری ہے جو جدید ترین Parameter-Efficient Fine-Tuning طریقے فراہم کرتی ہے تاکہ بڑے پری ٹرینڈ ماڈلز کو کم سے کم کمپیوٹیشنل اور اسٹوریج اخراجات کے ساتھ ڈھالا جا سکے۔

SGLang بڑے لسانی ماڈلز (LLMs) اور ملٹی موڈل ماڈلز کے لیے ایک اعلیٰ کارکردگی والا سرونگ فریم ورک ہے، جسے کم تاخیر اور زیادہ تھروپٹ انفرنس کے لیے ڈیزائن کیا گیا ہے۔

Dynamo ایک اوپن سورس ڈیٹا سینٹر پیمانے کی انفرنس آرکیسٹریشن لیئر ہے جو vLLM، SGLang اور TensorRT-LLM جیسے انجنوں کو متعدد GPUs پر مربوط کرتی ہے، اور disaggregated prefill/decode، KV-aware routing، multi-tier KV caching اور SLA-driven autoscaling شامل کرتی ہے۔

SANA NVIDIA Labs کا اوپن سورس خاندان ہے جو اعلیٰ ریزولوشن تصویر اور ویڈیو جنریشن کے لیے موثر ڈفیوژن ماڈلز، تربیت اور انفرنس کوڈ، لکیری توجہ، DC-AE کمپریشن اور 4-بٹ تعیناتی فراہم کرتا ہے۔

ایک مقامی Zig پر مبنی LLM انفرنس سرور جو Apple Silicon پر MLX اور GGUF ماڈلز چلاتا ہے، OpenAI، Anthropic اور Ollama APIs کے ساتھ مطابقت رکھتا ہے، اور macOS مینو بار ایپ بھی فراہم کرتا ہے۔