llm-router

llm-routerは、ClaudeなどのLLM API利用時のコスト最適化を目的とした軽量なシングルバイナリ逆プロキシです。アプリケーションとLLMプロバイダーの間に位置し、シンプルなクエリにはHaiku、中程度タスクにはSonnet、複雑な推論にはOpusのように、リクエストを処理可能な最も安価なモデルへインテリジェントにルーティングします。外部埋め込みなしのJaccard類似度を用いたセマンティックキャッシング、同一の並行リクエストの重複排除、依存関係追跡と並列実行を含むDAGとして定義された多段階エージェントワークフローの実行機能を備えます。システムはバックエンドの健康状態と負荷をリアルタイムで監視し、劣化または過負荷のモデルを自動的に回避します。フィードバックキャリブレーション付きML支援ルーティングに対応し、詳細なコスト追跡と節約レポートを提供します。YAMLで設定可能で、Anthropic、Ollama、vLLM、または任意のOpenAI互換バックエンドと連携します。7つの研究論文とオープンソースシステムの技術から構築され、外部依存関係は不要で57件のテストが含まれています。運用環境でのパフォーマンスとレジリエンスを維持しつつAPI利用料を削減するために最適です。