llm-gateway

LLM Gatewayは、複数の大規模言語モデル（LLM）プロバイダーとのやり取りを効率化するために設計された統合プロキシサーバーです。OpenAI、OpenRouter、Google Gemini、およびOllamaなどのローカルインスタンスを含むさまざまなバックエンドにリクエストをルーティングする、単一のOpenAI互換エンドポイントを提供します。主な機能として、プライマリプロバイダーが失敗した際に代替プロバイダーを試行する自動フォールバックメカニズムを備えており、高い可用性を確保します。また、このゲートウェイはAPIキーごとのレート制限を実装して過剰利用を防止し、異なるプロバイダー間での総リクエスト数、成功率、トークン消費量を追跡するための包括的なメトリクスエンドポイントを提供します。Dockerによる簡単なデプロイが可能な設計となっており、ベースURLを更新するだけで、既存のOpenAIクライアント設定のドロップインリプレースメントとして機能します。サポートされている機能には、チャット完了（chat completions）、埋め込み（embeddings）、モデル一覧の取得が含まれ、フォールバックチェーンと分間リクエスト制限の設定が可能です。