오픈 소스. 새로운 가능성.

SGLang-Omni는 옴니, 음성 및 TTS 모델을 위한 오픈소스 다단계 서빙 런타임으로, 음성 생성, 전사 및 멀티모달 채팅을 위한 OpenAI 호환 엔드포인트를 제공합니다.

HFL은 모든 Hugging Face 모델을 로컬에서 다운로드, 실행, 제공하며 OpenAI, Ollama, Anthropic 호환 API를 지원합니다. 계정이나 클라우드가 필요하지 않습니다.

Olares는 자체 하드웨어에서 AI 에이전트와 LLM을 실행하기 위한 오픈소스 개인 클라우드 OS로, 컴퓨팅·스토리지·네트워킹을 통합 제공합니다.

LightLLM은 경량 설계, 확장성, 속도에 초점을 맞춘 Python 기반 LLM 추론 및 서빙 프레임워크로, FasterTransformer, TGI, vLLM, FlashAttention을 참고했다.

KServe는 Kubernetes에서 생성형 및 예측형 AI 추론을 배포하기 위한 CNCF 인큐베이팅 플랫폼으로, 다중 프레임워크 모델, OpenAI 호환 LLM 서빙, 오토스케일링, 카나리 롤아웃, 모델 설명 가능성을 지원합니다.

vllmvllm-project

vLLM은 대규모 언어 모델(LLM) 추론 및 서빙을 위해 설계된 고처리량 및 메모리 효율적인 라이브러리입니다.