lightllm

LightLLM est un framework d'inférence et de service en Python pour les grands modèles de langage. Ses objectifs annoncés sont une conception légère, une facilité d'évolutivité et des performances à grande vitesse. Le projet indique s'inspirer des idées de plusieurs initiatives open source, notamment FasterTransformer, Text Generation Inference (TGI), vLLM et FlashAttention. La documentation est disponible en anglais et en chinois, avec un démarrage rapide, un guide d'installation et des tutoriels de déploiement (par exemple le déploiement de DeepSeek). Le README renvoie à des blogs de version pour les détails de performance plutôt que de lister des chiffres de benchmark. Les actualités notables du projet incluent une version v1.1.0, une version v1.0.0, la prise en charge du transfert de cache KV de préfixe entre les rankers DP, ainsi que des articles autour du décodage contraint (Pre3, ACL 2025) et d'un ordonnanceur de requêtes (ASPLOS 2025). Le README indique que la conception pure Python de LightLLM et la gestion du cache KV au niveau des tokens en font une base pratique pour la recherche. Plusieurs projets sont listés comme utilisant LightLLM ou ses composants, notamment LoongServe, vLLM, SGLang, ParrotServe, Aphrodite, S-LoRA, OmniKV et LazyLLM. Les travaux académiques cités comme fondés sur ou utilisant des parties de LightLLM incluent ParrotServe, SLoRA, LoongServe, CXL de ByteDance, VTC, OmniKV, CaraServe, LoRATEE et FastSwitch. Le dépôt est publié sous licence Apache-2.0. Le support communautaire est assuré via un serveur Discord, et le README invite aux contributions et à la coopération.