llm-router

LLM Routerは、OpenAI Chat Completions APIとの完全な互換性を維持しながら、複数のAIバックエンドの統合プロキシとして機能するように設計されたFastAPIアプリケーションです。これにより、開発者は優先度ベースのシステムと自動フェイルオーバーを使用して、OpenAI、Cerebras、DeepInfra、およびローカルのOllamaインスタンスを含むさまざまなプロバイダーにリクエストをルーティングできます。 主な機能は以下の通りです： - マルチバックエンドルーティング：可用性と優先度に基づいて、異なるAIサービスをシームレスに切り替えます。 - OpenAI互換性：ベースURLを変更するだけで、既存のOpenAIベースのアプリケーションのドロップインリプレースメントとして機能します。 - レジリエンス機能：プライマリサービスが停止した場合やレート制限に達した場合に、セカンダリバックエンドへの自動フェイルオーバーを実装しています。 - トラフィック管理：スライディングウィンドウアルゴリズムを使用した組み込みのレート制限システムを備え、認証用の複数のAPIキーをサポートしています。 - モニタリングと統計：ヘルスチェック、バックエンドステータス、および使用量メトリクスのための専用エンドポイントを提供します。 - 柔軟な設定：環境ベースのセットアップまたは高度なJSONベースのルーティングルールをサポートしています。 このツールは、コードベースを変更せずにモデルプロバイダーを多様化し、AI搭載アプリケーションの信頼性を高めたい開発者に特に有用です。