llm-router-gate

llm-router-gate は、シングルショット（単発）の LLM API 呼び出しに対する精密な可視性を開発者に提供する Python CLI および SDK です。リクエストを Anthropic、OpenRouter、またはローカル llama.cpp サーバーへルーティングし、ストリーミングレスポンスを支えながら、ヘッダー、生 SSE イベント、最終ペイロードなど HTTP 層全体を露出します。出所付きのトークンカウントとコスト見積もりを提供し、プロバイダー比較や空レスポンスのデバッグ、デプロイ前のプロンプトコスト検証を支援します。 このツールは意図的にチャット履歴・リトライ・システムプロンプトを避け、「LLM 向けの curl -v」に組み込み計算機を加えたものと動作理念を定めています。トリステート（三値）の推論トグルをサポートし、ストリーミング出力において回答チャンネルと推論チャンネルを区別し、トークン使用量は権威あるサーバーフィールドから、またはフォールバックヒューリスティクスで報告します。 セキュリティ注意：API キーを含むすべてのヘッダーをログに記録するため、共有前にマスクしてください。Python ≥3.14 が必要で、依存関係管理には uv を使用します。抽象化層なしにバックエンド間で LLM の挙動をデバッグ・ベンチマーク・検証するのに最適です。