llm-router

LLM Routerは、OpenAI互換APIリクエストを異なるLLMプロバイダ間ルーティングするために設計されたサーバーです。OpenAI、Anthropic、Geminiフォーマット間のリクエストおよびレスポンスの変換を処理し、統一されたインターフェースを提供します。 主な機能は以下の通りです： - マルチプロバイダ対応：OpenAI、Anthropic、Gemini APIエンドポイントと互換性があります。 - リクエスト/レスポンス変換：サポートされるAPI規格間でデータフォーマットを自動的に変換します。 - 高度なモデル選択：完全なjq式構文をサポートし、リクエストボディに基づく条件付きルーティングが可能です。 - ルーティング戦略：ラウンドロビン、ランダム、 least-connection戦略を実装し、重み付けベースの配布に対応しています。 - エラーハンドリング：失敗時にモデルの重みを自動減算し、可用性を管理します。 - 設定管理：YAMLファイル経由でモデルリスト、APIキー、ベースURL、ルーティンググループを定義できます。