tiered-llm-router

このリポジトリは、API費用を最大65%削減するように設計された、本番環境対応の階層型LLMカスケードルーターの実装を提供します。このシステムは、軽量な分類器（Claude Haiku）を使用して入力クエリを分析し、3つのパフォーマンスティアのいずれかにルーティングします。単純なフォーマットや抽出にはGemini 2.5 Flash-Lite、中程度の分析やコーディングにはClaude Sonnet、そして複雑な推論にはClaude Opusが割り当てられます。パッケージには、コアルーティングエンジン、分類精度の測定用評価ハーネス、およびライブレスポンスに影響を与えずに本番トラフィックを監視するためのシャドウモードスクリプトが含まれています。AnthropicおよびGoogle Gemini APIをサポートしており、ルーティングされた各リクエストの詳細なトークン使用量とコスト内訳を提供します。この実装は、大量のAIアプリケーションにおいて、モデルのパフォーマンスと予算制約のバランスを取りたい開発者向けに設計されています。