llm-budget-proxy

llm-budget-proxyは、OpenAI APIの利用管理に特化したリバースプロキシです。キーごとのトークン予算（日次または月次）とレート制限（RPM/TPM）を通じて、API消費のきめ細かな制御を実現します。主な機能として、支出を監視するための組み込みコストダッシュボード、コスト削減のための完全一致レスポンスキャッシュ、および予算しきい値に達した際に自動的に安価なモデルに切り替えるモデルダウングレード機能が備わっています。本システムはTypeScriptで構築され、データ永続化にSQLiteを使用しているため、単一のDockerコンテナとして簡単にデプロイ可能です。また、予算アラート用のウェブフックをサポートし、レスポンスにはリクエストコストや残り予算などの詳細なカスタムヘッダーを付与します。OpenAIに特化していますが、開発およびステージング環境において、より複雑なLLMゲートウェイに代わる軽量な選択肢となります。