llm-router

LLM Routerは、アプリケーションとLLMプロバイダー（デフォルトはPerplexity）の間に位置するミドルウェア層です。トークン数とキーワード信号に基づいて、入力されたプロンプトを「simple」、「medium」、「complex」のティアに分類し、それぞれのリクエストを最もコスト効率の高いモデル（sonar、sonar-pro、またはsonar-deep-research）にルーティングします。すべてのリクエストは、プロンプト、レスポンス、トークン、コスト、レイテンシ、ルーティング理由、およびオプションのプロジェクトタグを含む詳細とともにPostgreSQLにログ記録されます。システムは、コスト概要、節約額の計算、モデル別/日別/プロジェクト別の内訳を提供する分析APIを公開しています。Reactダッシュボードでは、利用トレンド、コスト分布、リクエストログを可視化します。GrafanaはPrometheusと統合され、リアルタイムメトリクスを提供します。アーキテクチャはプロバイダーに依存せず、`backend/services/providers/`で単一のインターフェースを実装することで、任意のLLM APIを組み込むことができます。FastAPI、PostgreSQL、React、Docker Composeで構築されており、サンプルデータのシーディング、デモスクリプト、テストが含まれています。学習およびポートフォリオ用として設計されており、本番環境向けではありません。料金設定とAPIキーの設定が必要です。パフォーマンスのオーバーヘッドは通常50ms未満です。将来的な拡張のために、認証、キャッシング、マルチテナンシーのプレースホルダーが含まれています。