semantic-router

Semantic Routerは、大規模言語モデル（LLM）やAIエージェント向けに超高速な意思決定レイヤーを提供するオープンソースのPythonライブラリです。ツール使用やルーティングの決定を遅いLLM生成に依存する代わりに、意味ベクトル空間を利用して、ユーザーのクエリを意味に基づいて適切なルートやツールに振り分けます。 主な特徴は以下の通りです： - **セマンティックルーティング**：サンプル発話でルートを定義し、ルーターは埋め込みモデルを使用して受信クエリを正しいカテゴリに迅速に分類します。 - **エンコーダーサポート**：Cohere、OpenAI、HuggingFace、FastEmbedなど、さまざまな埋め込みプロバイダーと統合し、クラウドおよび完全ローカル実行の両方を可能にします。 - **ベクトルデータベース統合**：スケーラブルなインデックス作成と検索のために、PineconeおよびQdrantとの埋め込み同期をサポートします。 - **動的ルート**：ユーザークエリに基づいてパラメータ生成や関数呼び出しを可能にします。 - **マルチモーダルルーティング**：マルチモーダルデータ（例：画像）を処理およびルーティングできます。 - **閾値最適化**：分類パフォーマンスを最適化するために、ルートの閾値をトレーニングおよび調整できます。 - **統合**：LangChainエージェントやその他のLLMフレームワークと簡単に統合できます。 このライブラリは、安定版の0.x系と、現在メインブランチで開発中の破壊的変更を含む1.x系の2つのリリースラインで提供されています。