عن المشروع

LightLLM هو إطار عمل قائم على بايثون للاستدلال وتقديم نماذج اللغة الكبيرة. أهدافه المعلنة هي تصميم خفيف، وقابلية توسع سهلة، وأداء عالي السرعة. يذكر المشروع أنه يستلهم من عدة جهود مفتوحة المصدر، بما في ذلك FasterTransformer وText Generation Inference (TGI) وvLLM وFlashAttention. التوثيق متاح باللغتين الإنجليزية والصينية، مع دليل بدء سريع، ودليل تثبيت، ودروس نشر (على سبيل المثال نشر DeepSeek). يشير ملف README إلى مدونات الإصدارات للحصول على تفاصيل الأداء بدلاً من سرد أرقام المعايير. تشمل أخبار المشروع البارزة إصدار v1.1.0، وإصدار v1.0.0، ودعم نقل ذاكرة التخزين المؤقت لـ KV بين رتب DP، وأوراق بحثية حول فك التشفير المقيد (Pre3، ACL 2025) وجدولة الطلبات (ASPLOS 2025). يذكر ملف README أن تصميم LightLLM النقي بلغة بايثون وإدارة ذاكرة التخزين المؤقت لـ KV على مستوى الرموز يجعله مناسبًا كأساس للبحث. تُدرج عدة مشاريع على أنها تستخدم LightLLM أو مكوناته، بما في ذلك LoongServe وvLLM وSGLang وParrotServe وAphrodite وS-LoRA وOmniKV وLazyLLM. تشمل الأعمال الأكاديمية المذكورة كأساس أو استخدام أجزاء من LightLLM: ParrotServe وSLoRA وLoongServe وByteDance's CXL وVTC وOmniKV وCaraServe وLoRATEE وFastSwitch. يتم إصدار المستودع بموجب ترخيص Apache-2.0. يُقدم دعم المجتمع عبر خادم Discord، ويدعو ملف README إلى المساهمات والتعاون.