lightllm

LightLLM은 대규모 언어 모델을 위한 Python 기반 추론 및 서빙 프레임워크입니다. 명시된 목표는 경량 설계, 손쉬운 확장성, 고속 성능입니다. 이 프로젝트는 FasterTransformer, Text Generation Inference(TGI), vLLM, FlashAttention을 포함한 여러 오픈소스 노력에서 아이디어를 얻었다고 밝히고 있습니다. 문서는 영어와 중국어로 제공되며, 빠른 시작, 설치 가이드, 배포 튜토리얼(예: DeepSeek 배포)이 포함되어 있습니다. README는 벤치마크 수치를 나열하기보다 성능 세부 사항을 위해 릴리스 블로그를 안내합니다. 주요 프로젝트 소식으로는 v1.1.0 릴리스, v1.0.0 릴리스, DP 랭커 간 prefix KV 캐시 전송 지원, 제약 디코딩 관련 논문(Pre3, ACL 2025)과 요청 스케줄러 관련 논문(ASPLOS 2025)이 있습니다. README는 LightLLM의 순수 Python 설계와 토큰 수준 KV 캐시 관리가 연구 기반으로 편리하게 사용될 수 있다고 설명합니다. LightLLM 또는 그 구성 요소를 사용하는 여러 프로젝트가 나열되어 있으며, 여기에는 LoongServe, vLLM, SGLang, ParrotServe, Aphrodite, S-LoRA, OmniKV, LazyLLM이 포함됩니다. LightLLM의 일부를 기반으로 하거나 사용한 것으로 인용된 학술 작업에는 ParrotServe, SLoRA, LoongServe, ByteDance의 CXL, VTC, OmniKV, CaraServe, LoRATEE, FastSwitch가 있습니다. 저장소는 Apache-2.0에 따라 릴리스되었습니다. 커뮤니티 지원은 Discord 서버를 통해 제공되며, README는 기여와 협력을 요청합니다.