dynamo

Dynamoは、推論エンジンの上に位置するオープンソースのオーケストレーションレイヤーであり、それらを置き換えるものではありません。SGLang、TensorRT-LLM、vLLMを調整して、LLM、推論、マルチモーダル、ビデオ生成ワークロード向けのマルチノード推論システムを構築します。このプロジェクトは、パフォーマンスのためにRust、拡張性のためにPythonで構築されており、Apache 2.0ライセンスで提供されています。 READMEに記載されている中核機能は以下の通りです。 - 分離型プリフィル/デコード：プリフィルとデコードを独立してスケーラブルなGPUプールに分離し、各フェーズをそのワークロードに適したハードウェアで実行できるようにします。 - KV対応ルーティング：ワーカーの負荷とKVキャッシュの重複に基づいてリクエストをルーティングし、冗長なプリフィル計算を削減します。 - KVブロックマネージャー（KVBM）：KVキャッシュをGPU、CPU、SSD、リモートストレージにオフロードし、実効コンテキスト長を拡張します。 - ModelExpress：NIXL/NVLinkを介してGPU間でモデルウェイトをストリーミングし、新しいレプリカのコールドスタートを高速化します。 - Planner：SLA駆動のオートスケーラーで、ワークロードをプロファイリングし、プールのサイズを適正化します。 - Grove：トポロジーを考慮したギャングスケジューリングのためのKubernetesオペレーターで、ラック、ホスト、NUMAノードにわたるNVL72配置を含みます。 - AISimulate：GPUクラスターを起動せずに、サービング動作を予測し、デプロイメント構成をオフラインで検索します。 - フォールトトレランス：カナリアヘルスチェックとインフライトリクエストマイグレーションにより、ワーカー障害がユーザーリクエストを必ずしもドロップしないようにします。 バージョン1.0の追加機能には、DGDRによるゼロコンフィグデプロイメント（モデル、ハードウェア、SLAを1つのYAMLで指定）、優先度、期待出力長、投機的プリフィルなどのリクエストごとのヒント、セッションメタデータ、LangChainおよびNeMo Agent Toolkitとの統合などのエージェント推論機能が含まれます。また、埋め込みキャッシュを備えたマルチモーダルエンコード/プリフィル/デコード、ビデオ生成のためのネイティブFastVideoおよびSGLang Diffusionサポート、Kubernetes Inference Gatewayプラグイン、S3/Azure blobサポートを備えたストレージ層KVオフロードもリストされています。 デプロイメントオプション：vLLM、SGLang、TensorRT-LLMランタイム用のプリビルドNGCコンテナ。バックエンドのエクストラを備えたuvを使用したPyPIインストール。Dynamo PlatformによるKubernetesデプロイメント。これには、モデル、バックエンド、SLAターゲットを取得するDynamoGraphDeploymentRequestマニフェストが含まれます。Qwen3-32B-FP8、DeepSeek-R1、Kimi-K3などのモデル用のプリビルドレシピが存在し、AWS EKS、Google GKE、Azure AKS、Amazon ECS向けのクラウドガイドがあります。ソースからのビルドにはRust、maturin、uvを使用し、devcontainerが利用可能です。 2つのリクエストルーティングトポロジーが文書化されています：Dynamoネイティブフロントエンドルーティング（クライアントからフロントエンド、ルーター、ワーカーへ）と、Kubernetes Gateway API Inference Extensionを使用したゲートウェイAPIルーティングで、ゲートウェイがワーカーのフロントエンドサイドカーに転送する前にDynamo Endpoint Pickerプラグインを呼び出します。どちらもOpenAI互換APIを公開しています。 サービスディスカバリは、コンポーネント間通信にTCPを使用します。Kubernetesでは、CRDとEndpointSliceがディスカバリを処理し、etcdまたはNATSはほとんどのデプロイメントでオプションです。フロントエンドはOpenAPI 3仕様を公開し、ベンチマークガイダンスはAIPerfを通じて提供されます。READMEには、Slack、オフィスアワー、毎週のコミュニティミーティング、GitHubイシューとして追跡される設計提案など、コミュニティチャネルもリストされています。