llm-router

LLM Routerは、複数の大規模言語モデル（LLM）プロバイダーを単一のエンドポイントに統合するプロキシサーバーおよびPythonライブラリです。YAMLファイルを通じて設定を管理することで、APIキーやコードベースを変更することなく、さまざまなモデルとのやり取りが可能になります。 主な機能は以下の通りです： - **マルチプロバイダーサポート**: Google、Cohere、Mistral、OpenRouter、Cerebras、Groq、Hugging Face、Kilo Code、llm7.io、NVIDIA NIMを含む10のプロバイダーに標準で対応しています。 - **インテリジェントルーティング**: 機能（ビジョン、ツール利用など）、コンテキストウィンドウサイズ、および品質モード（quality、fast、cheap、code）に基づいてモデルを自動的に選択します。 - **信頼性機能**: 指数バックオフによるリトライ、失敗時の代替モデルへの自動フォールバック、およびレート制限がかかったキーに対するクールダウン付きのキーローテーションを実装しています。 - **OpenAI互換性**: OpenAI互換APIを公開するローカルサーバーが含まれており、VoidやContinueなどのエディタと互換性があります。 - **オブザーバビリティ**: すべてのリクエストとレスポンスをローカルのSQLiteデータベースにログとして記録し、履歴管理と監査を可能にします。 - **柔軟な利用形態**: スタンドアロンのローカルサーバーとして利用することも、Pythonプロジェクトにライブラリとして直接統合することも可能です。