منصوبے کے بارے میں

لائٹ ایل ایل ایم (LightLLM) بڑے لینگویج ماڈلز کے لیے پائتھون پر مبنی ایک انفرنس اور سرونگ فریم ورک ہے۔ اس کے بیان کردہ اہداف ہلکا ڈیزائن، آسان اسکیل ایبلٹی اور تیز رفتار کارکردگی ہیں۔ یہ پروجیکٹ کہتا ہے کہ یہ کئی اوپن سورس کوششوں سے خیالات لیتا ہے، جن میں FasterTransformer، Text Generation Inference (TGI)، vLLM اور FlashAttention شامل ہیں۔ دستاویزات انگریزی اور چینی میں دستیاب ہیں، جن میں کوئیک اسٹارٹ، انسٹالیشن گائیڈ اور ڈیپلائمنٹ ٹیوٹوریلز (مثلاً DeepSeek ڈیپلائمنٹ) شامل ہیں۔ README میں بینچ مارک نمبرز کی فہرست دینے کے بجائے کارکردگی کی تفصیلات کے لیے ریلیز بلاگز کی طرف اشارہ کیا گیا ہے۔ پروجیکٹ کی قابل ذکر خبروں میں v1.1.0 ریلیز، v1.0.0 ریلیز، DP رینکرز کے درمیان پری فکس KV کیش کی منتقلی کی سپورٹ، اور محدود ڈیکوڈنگ (Pre3، ACL 2025) اور ایک ریکویسٹ شیڈیولر (ASPLOS 2025) کے بارے میں مقالات شامل ہیں۔ README میں کہا گیا ہے کہ لائٹ ایل ایل ایم کا خالص پائتھون ڈیزائن اور ٹوکن لیول KV کیش مینجمنٹ اسے تحقیق کے لیے بنیاد کے طور پر استعمال کرنا آسان بناتے ہیں۔ کئی پروجیکٹس لائٹ ایل ایل ایم یا اس کے اجزاء استعمال کرنے والوں کے طور پر درج ہیں، جن میں LoongServe، vLLM، SGLang، ParrotServe، Aphrodite، S-LoRA، OmniKV اور LazyLLM شامل ہیں۔ لائٹ ایل ایل ایم پر مبنی یا اس کے کچھ حصے استعمال کرنے والے تعلیمی کاموں میں ParrotServe، SLoRA، LoongServe، ByteDance کا CXL، VTC، OmniKV، CaraServe، LoRATEE اور FastSwitch شامل ہیں۔ یہ ریپوزٹری Apache-2.0 کے تحت جاری کی گئی ہے۔ کمیونٹی سپورٹ ایک Discord سرور کے ذریعے فراہم کی جاتی ہے، اور README میں تعاون اور اشتراک کی دعوت دی گئی ہے۔