vessel

VesselはLLMトラフィック向けのローカルファースト可観測性プロキシです。クライアントのbase_urlを単一のバイナリに向けるだけで、キャプチャ、検索、メトリクス、リプレイ、比較、そしてプライベートなUIが利用できます。キャプチャされたトラフィックはすべてお使いのマシン上にのみ保存され、プロンプトは設定したモデルプロバイダーにのみ転送されます。 対応バックエンドには、OpenAI（Chat/Responses API）、Anthropic Messages、Ollama、および任意のOpenAI互換サーバー（LM Studio、llama.cpp、vLLM）が含まれます。Vesselは未知のフォーマットを含むすべてのトラフィックタイプをキャプチャおよび検索し、圧縮されたボディとともにローカルのSQLiteデータベースに保存します。 主な機能: - キャプチャと検索: セッション、タグ、フィルター、バックエンドのヘルス、警告を備えたライブ履歴。ライト/ダークテーマ。 - リプレイと比較: キャプチャした任意のリクエストを、同じまたは異なるバックエンドやモデルに対してリプレイできます。最大8つのバリエーション（複数モデル、またはtemperature 0.2/0.7/1.0のようなパラメータースイープ）に展開できます。メトリクスの差分とともにレスポンスを並べて比較できます。レスポンスを1〜5でスコアリングでき、Reportsは平均スコアでモデルとパラメーターセットをランク付けします。 - レポート: トークン、リクエスト、tok/s、所要時間、キャッシュ効率、モデル/タグ/バックエンド別の警告、セッションを通じたコンテキストの増加。フィルター済みリストをCSVまたはJSONLにエクスポートできます。 - ルーティングとタグ: パス（/b/{backend}/...）またはX-Vessel-Backendヘッダーを介して、リクエストごとに任意の設定済みバックエンドへルーティングできます。X-Vessel-Tagsヘッダーまたはパス（/t/{tag}/...）を介してリクエストにタグを付け、マルチエージェントアプリでの帰属を可能にします。X-Vessel-Sessionによる名前付きセッション。 - MCPエンドポイント: /vessel/mcpにある読み取り専用のMCPサーバーにより、Claude CodeなどのAIツールがキャプチャされたトラフィックを検索および検査できます。キャプチャされたリクエストとセッションはMCPリソースとしても公開されます。 - 警告: コールドロード、遅いTTFT、遅いレスポンス、反復的な出力、切り詰められたレスポンス、推定トークン、不完全なストリーム、クライアント切断、ボディの切り詰め、HTTP/パースエラーなどを検出します。 プライバシー: リクエストはバイト単位で転送されます。VesselはAPIキーを保存しません。認証ヘッダーは保存時にマスクされます。デフォルトではlocalhostにバインドされ、非ループバックアドレスにバインドした場合は警告を表示します。 インストールはHomebrew（macOS/Linux）、Scoop（Windows）、Docker Compose、または直接ダウンロードで利用できます。設定はvessel.jsonファイルで行い、リッスンアドレス、バックエンド、タイムアウト、保持上限、キャプチャ制限、警告しきい値、MCPの有効化などのオプションがあります。ソースからのビルドには.NET 10とNode.jsが必要です。MITライセンスの下で提供されています。