llm-router

LLM Routerは、複数の大規模言語モデル（LLM）プロバイダーおよびAPIキーにリクエストを分散させるために設計された、柔軟で効率的なAPIゲートウェイです。Goで記述されており、OpenAIのchat completionsエンドポイントのドロップインリプレースメントとして機能します。主な機能には、利用状況に基づいたインテリジェントなロードバランシング、コスト最適化のための重み付きモデル選択、およびOpenAIやOpenRouterなどの複数の基盤プロバイダーにマッピングされる論理モデルグループの定義機能が含まれます。また、Server-Sent Events (SSE) による完全なストリーミング、レスポンス圧縮、およびTime to First Token (TTFT) や秒間トークン数などのメトリクスを追跡する詳細なパフォーマンスモニタリングをサポートしています。このルーターは、冗長性の確保とレート制限の緩和のためのAPIキー管理も行い、安全な認証レイヤーとOpenAIのResponses APIとの互換性を提供します。