semantic-router

vLLM Semantic Routerは、異なるモデル、アクセラレータ、デプロイ場所にまたがって複数のLLMを運用する組織向けのルーティング層を提供します。モデル選択ロジックをアプリケーションに直接埋め込む代わりに、チームは受信リクエスト、ユーザー設定、ワークロード特性、インフラまたはデータ境界の制約を評価するポリシーを定義できます。その後、ルーターは適切なモデルパスを選択したり、リクエストに対して複数のモデルを構成したりできます。 このプロジェクトは、GPUやその他のアクセラレータ、エッジおよびクラウドのデプロイ、プライベートまたはパブリックインフラを含む異種推論環境を対象としています。その明示された目標には、すべてのワークロードに最適な単一モデルが存在しない場合に、ユーザーが品質、コスト、レイテンシ、プライバシー、安全性のトレードオフを管理できるようにすることが含まれます。READMEでは、パーソナライズされたモデルパス、クロスコンピュートルーティング、およびデータを定義された境界内に保つための制御について説明しています。 リポジトリはGoで書かれており、Go 1.25のバッジがあり、安定したインストールスクリプトと、pip、uv、エージェント駆動インストール用のドキュメントを提供しています。オンラインプレイグラウンドが利用可能で、プロジェクトはドキュメント、ブログ記事、出版物、Hugging Faceリソース、vLLM Slackチャンネルにリンクしています。READMEには、v0.1 Irisからv0.3 Themisまでのリリースと、セマンティックキャッシュ、ルーティング判断、ハルシネーション検出、LoRA拡張性、フュージョン関連機能を扱った論文や記事が記載されています。 コミュニティ参加には、APACおよびAmericasに優しい月次ミーティング、Slackチャンネル、コントリビューションガイダンス、エージェント指向の開発ドキュメントが含まれます。AMDは、ルーターモデルの研究、テスト、オンラインプレイグラウンド用のGPUリソースとROCmソフトウェアを提供するスポンサーとして記載されています。