llmproxy

LLM Proxyは、アプリケーションとOpenAI APIの間に配置され、トラフィックをログに記録して検査するためのローカルデバッグツールです。開発者は、正確なプロンプト、トークン使用量、タイミング、およびエラーをリアルタイムで監視できます。 主な機能は以下の通りです： - リクエストロギング：ストリーミングレスポンスを含むすべての /v1/* エンドポイントをキャプチャし、JSONL形式でディスクに保存します。 - Web UI：リクエスト履歴の閲覧、エンドポイントやモデルによるフィルタリング、およびリクエスト/レスポンスボディ全体の検査が可能なブラウザベースのインターフェースを提供します。 - 設定：設定ファイルまたは環境変数を通じて、カスタムポート、APIキーの上書き、および設定可能なロギングレベルをサポートしています。 - セキュリティ：ログ内のAPIキーをサニタイズし（末尾4文字のみ表示）、デフォルトでlocalhostにバインドします。 - 統合：ベースURLをローカルプロキシのアドレスに変更することで、あらゆるOpenAI互換のクライアントまたはSDKと互換性があります。