llm-failover-proxy

llm-failover-proxy は、単一のローカルエンドポイント（OpenAI 互換）を提供し、優先順位付けされた LLM プロバイダーのチェーンを管理します。プライマリモデルがレートリミット、エラー、タイムアウトなどで失敗した場合、プロキシはアプリケーションを中断させることなく、チェーン内の次の利用可能なモデルに透過的に切り替えます。 主な機能は以下の通りです： - パラレルレース: 優先モデルの応答が遅い場合（デフォルト 5 秒）、プロキシは次のモデルに並行してリクエストを送り、最初に取得できた有効な回答を受け入れ、レイテンシを最小化します。 - モデルリスト: チャット用と埋め込み用など、目的別に複数の名前付きリストをサポートします。 - プロバイダー管理: API キーの設定、モデル優先度の管理、パフォーマンス統計の監視を行うターミナル UI を備えています。 - ヘルスモニタリング: /health、/stats エンドポイントを提供し、サービスの稼働状態を確認し、モデルごとの成功/失敗率を追跡します。 - バックグラウンド動作: Windows、macOS、Linux でシステムログイン時に自動起動するバックグラウンドサービスとしてインストール可能です。 - 互換性: ストリーミング、ツール/関数呼び出し、ビジョン、JSON モードをサポートし、プロバイダーへそのまま転送します。