llm-router

これは、OpenAIおよびAnthropic APIリクエストを受け取り、設定可能なルールベースのスコアリングに基づいて最適な利用可能モデルにルーティングする、ローカルの決定論的LLMルーティングプロキシです。ランダム性やLLM-in-the-loopによる決定は行いません。OpenRouter（クラウドメタプロバイダー）、oMLX（ローカルApple Siliconモデル）、Ollama、およびOpenAI、Groq、Geminiなどの直接的なクラウドプロバイダーを含む複数のバックエンドをサポートしています。システムは、プロファイル解決、ハードフィルタリング（コンテキスト、モダリティ、プライバシー、価格上限）、重み付きスコアリング（コスト、レイテンシ、コンテキストの余裕、優先度、品質）、およびプロバイダー固有のフラグ注入という4段階のエキスパートシステムを使用して各リクエストを評価します。ユーザーは、6つの組み込みプロファイル（例：cheap、fast、private、smart、local）から選択するか、設定を通じてカスタムプロファイルを定義できます。ヘッダーまたはボディフィールドを介したリクエストごとのステアリングも可能です。このプロキシには、チャットプレイグラウンド、モデルカタログ、ルーティング解説、使用統計、ログを備えたWebインターフェースに加え、GUI設定用のネイティブmacOSメニューバー管理アプリが含まれています。アップストリームエラーが発生した場合は、ランク付けされたリストに従ってフォールバックし、SSEレスポンスを直接ストリーミングします。機能には、OpenRouterキーの自動ローテーション、機密情報の編集（DLP）、APIキーへのプロファイル固定、およびArtificial Analysisによる品質スコアリングが含まれます。永続的な設定とSQLite履歴を備えたDockerサポートが提供されています。ホットリロードは非対応で、設定変更後は再起動が必要です。Rustで構築されており、設定、コアロジック、プロバイダー、管理ツールのためのモジュール式クレートで構成されています。