dynamo

Dynamo는 추론 엔진을 대체하는 것이 아니라 그 위에 위치하는 오픈소스 오케스트레이션 계층입니다. SGLang, TensorRT-LLM, vLLM을 LLM, 추론, 멀티모달, 비디오 생성 워크로드를 위한 다중 노드 추론 시스템으로 조정합니다. 이 프로젝트는 성능을 위해 Rust로, 확장성을 위해 Python으로 구축되었으며 Apache 2.0 라이선스를 따릅니다. README에 설명된 핵심 기능: - 분리형 prefill/decode: prefill과 decode를 독립적으로 확장 가능한 GPU 풀로 분리하여 각 단계가 해당 워크로드에 적합한 하드웨어에서 실행될 수 있도록 합니다. - KV 인식 라우팅: 워커 부하와 KV 캐시 중복을 기반으로 요청을 라우팅하여 중복 prefill 계산을 줄입니다. - KV Block Manager(KVBM): KV 캐시를 GPU, CPU, SSD, 원격 스토리지에 오프로드하여 실효 컨텍스트 길이를 확장합니다. - ModelExpress: NIXL/NVLink를 통해 모델 가중치를 GPU 간 스트리밍하여 새 레플리카의 콜드 스타트를 가속합니다. - Planner: 워크로드를 프로파일링하고 풀 크기를 적정화하는 SLA 기반 오토스케일러입니다. - Grove: 랙, 호스트, NUMA 노드 전반에 걸친 NVL72 배치를 포함한 토폴로지 인식 gang 스케줄링을 위한 Kubernetes 오퍼레이터입니다. - AISimulate: GPU 클러스터를 구동하지 않고도 서빙 동작을 예측하고 배포 구성을 오프라인으로 탐색합니다. - 내결함성: 카나리 상태 확인과 인플라이트 요청 마이그레이션을 통해 워커 장애가 반드시 사용자 요청 손실로 이어지지 않도록 합니다. 강조된 버전 1.0 추가 사항에는 DGDR을 통한 제로 구성 배포(하나의 YAML에 모델, 하드웨어, SLA 지정), 우선순위, 예상 출력 길이, 추측성 prefill에 대한 요청별 힌트와 같은 에이전트 추론 기능, 세션 메타데이터, LangChain 및 NeMo Agent Toolkit과의 통합이 포함됩니다. 임베딩 캐시를 사용한 멀티모달 인코드/prefill/decode, 비디오 생성을 위한 네이티브 FastVideo 및 SGLang Diffusion 지원, Kubernetes Inference Gateway 플러그인, S3/Azure blob 지원을 포함한 스토리지 계층 KV 오프로드도 나열되어 있습니다. 배포 옵션: vLLM, SGLang, TensorRT-LLM 런타임용 사전 빌드된 NGC 컨테이너, 백엔드 extras와 함께 uv를 통한 PyPI 설치, Dynamo Platform을 통한 Kubernetes 배포(모델, 백엔드, SLA 목표를 받는 DynamoGraphDeploymentRequest 매니페스트 포함). Qwen3-32B-FP8, DeepSeek-R1, Kimi-K3와 같은 모델용 사전 빌드 레시피가 있으며 AWS EKS, Google GKE, Azure AKS, Amazon ECS용 클라우드 가이드가 있습니다. 소스에서 빌드하려면 Rust, maturin, uv를 사용하며 devcontainer를 사용할 수 있습니다. 두 가지 요청 라우팅 토폴로지가 문서화되어 있습니다. Dynamo 네이티브 프런트엔드 라우팅(클라이언트에서 Frontend로, Router로, 워커로)과 Kubernetes Gateway API Inference Extension을 사용한 Gateway API 라우팅으로, 여기서 게이트웨이는 워커의 프런트엔드 사이드카로 전달하기 전에 Dynamo Endpoint Picker Plugin을 호출합니다. 둘 다 OpenAI 호환 API를 노출합니다. 서비스 검색은 컴포넌트 간 통신에 TCP를 사용하며, Kubernetes에서는 CRD와 EndpointSlice가 검색을 처리하고 etcd 또는 NATS는 대부분의 배포에서 선택 사항입니다. 프런트엔드는 OpenAPI 3 명세를 노출하며 AIPerf를 통한 벤치마킹 지침이 제공됩니다. README에는 Slack, 오피스 아워, 주간 커뮤니티 미팅, GitHub 이슈로 추적되는 설계 제안을 포함한 커뮤니티 채널도 나열되어 있습니다.