lightllm

LightLLM — это основанный на Python фреймворк для инференса и обслуживания больших языковых моделей. Его заявленные цели — лёгкий дизайн, простая масштабируемость и высокая скорость работы. Проект, по его словам, заимствует идеи из нескольких open-source инициатив, включая FasterTransformer, Text Generation Inference (TGI), vLLM и FlashAttention. Документация доступна на английском и китайском языках, включая быстрый старт, руководство по установке и обучающие материалы по развёртыванию (например, развёртывание DeepSeek). В README для получения подробностей о производительности приводятся ссылки на релизные блоги, а не конкретные числа бенчмарков. Среди заметных новостей проекта — выпуск v1.1.0, выпуск v1.0.0, поддержка передачи префиксного KV-кэша между DP-ранкерами, а также статьи о constrained decoding (Pre3, ACL 2025) и планировщике запросов (ASPLOS 2025). В README говорится, что чисто питоновский дизайн LightLLM и управление KV-кэшем на уровне токенов делают его удобной основой для исследований. Несколько проектов указаны как использующие LightLLM или его компоненты, включая LoongServe, vLLM, SGLang, ParrotServe, Aphrodite, S-LoRA, OmniKV и LazyLLM. Академические работы, цитируемые как основанные на LightLLM или использующие его части, включают ParrotServe, SLoRA, LoongServe, ByteDance's CXL, VTC, OmniKV, CaraServe, LoRATEE и FastSwitch. Репозиторий выпущен под лицензией Apache-2.0. Поддержка сообщества осуществляется через сервер Discord, а README приглашает к вкладу и сотрудничеству.