lightllm

LightLLM es un framework de inferencia y servicio basado en Python para modelos de lenguaje grandes. Sus objetivos declarados son un diseño ligero, fácil escalabilidad y alto rendimiento. El proyecto indica que se inspira en ideas de varios esfuerzos de código abierto, incluyendo FasterTransformer, Text Generation Inference (TGI), vLLM y FlashAttention. La documentación está disponible en inglés y chino, con una guía de inicio rápido, instrucciones de instalación y tutoriales de despliegue (por ejemplo, despliegue de DeepSeek). El README remite a blogs de versiones para detalles de rendimiento en lugar de enumerar cifras de referencia. Noticias notables del proyecto incluyen una versión v1.1.0, una versión v1.0.0, soporte para transferencia de caché KV de prefijo entre rangos DP, y artículos sobre decodificación restringida (Pre3, ACL 2025) y un programador de solicitudes (ASPLOS 2025). El README afirma que el diseño puramente en Python de LightLLM y la gestión de caché KV a nivel de token lo hacen conveniente como base para la investigación. Varios proyectos se enumeran como usuarios de LightLLM o sus componentes, incluyendo LoongServe, vLLM, SGLang, ParrotServe, Aphrodite, S-LoRA, OmniKV y LazyLLM. Trabajos académicos citados como basados en o que utilizan partes de LightLLM incluyen ParrotServe, SLoRA, LoongServe, CXL de ByteDance, VTC, OmniKV, CaraServe, LoRATEE y FastSwitch. El repositorio se publica bajo Apache-2.0. El soporte comunitario se ofrece a través de un servidor de Discord, y el README invita a contribuciones y cooperación.