اوپن سورس۔ نئے امکانات۔

SGLang بڑے لسانی ماڈلز (LLMs) اور ملٹی موڈل ماڈلز کے لیے ایک اعلیٰ کارکردگی والا سرونگ فریم ورک ہے، جسے کم تاخیر اور زیادہ تھروپٹ انفرنس کے لیے ڈیزائن کیا گیا ہے۔

MoziAI-35B ایک مقامی طور پر تعینات کیے جانے والا اوپن سورس ملٹی موڈل لینگویج ماڈل ہے جس میں 35B MoE فن تعمیر ہے اور MoziSmartBit کوانٹائزیشن کے ذریعے تقریباً 15.9 GB تک کمپریس کیا گیا ہے، جو 256K سیاق و سباق، ویژن، ٹول کالنگ، اور مالیاتی مرکوز استدلال کا فریم ورک فراہم کرتا ہے۔

vLLM ایک ہائی تھروپٹ اور میموری کے لحاظ سے موثر لائبریری ہے جسے Large Language Model (LLM) کے انفرنس اور سرونگ کے لیے ڈیزائن کیا گیا ہے۔

LlamaFactory ایک اوپن سورس فریم ورک ہے جو بڑے لینگویج ماڈلز اور ملٹی موڈل ماڈلز کی فائن ٹیوننگ کے لیے استعمال ہوتا ہے، جس میں کمانڈ لائن انٹرفیس، Gradio ویب UI، LoRA/QLoRA اور متعدد ٹریننگ الگورتھم شامل ہیں۔