dsh-otel

このプロジェクトは、DeepSeek Harness (DSH) 用のプラグインであり、AIエージェント実行に対する完全なOpenTelemetry可観測性を提供します。トレース、メトリクス、ログを時系列データベースであるGreptimeDBにエクスポートし、可視化のための7つの事前構築済みGrafanaダッシュボードを同梱しています。 このプラグインは、DSHセッション内のすべてのターン、モデル呼び出し、ツール実行を計装し、トークン数（入力、出力、キャッシュ読み取り、キャッシュ書き込み、推論トークン）、所要時間、ツール名、結果、エラー情報を記録します。トレースはターンスパンとして構造化され、チャットスパンとツールスパンが兄弟として配置され、ステップ識別子によって関連付けられます。メトリクスには、トークン使用量のヒストグラム、操作所要時間、ツール呼び出しカウンターが含まれます。ログはセッションイベントごとに1レコードをキャプチャし、セッションID、イベントタイプ、ターン、ステップの抽出可能な列を持ちます。 7つのGrafanaダッシュボードは異なる側面をカバーします。Overview（トークン数、速度、キャッシュ使用量）、Cost（設定可能な100万トークンあたりのレートを使用した金銭的見積もり）、Sessions（会話時間、ターン数、失敗数）、Agent Loop（ツール頻度、失敗率、ターンごとのモデル呼び出し）、Trace Explorer（単一ターンのスパンごとのウォーターフォール）、Log Explorer（フィルタリング可能なセッションイベント）、Metrics（より長いリテンションのためのPromQLベースのビュー）。Costダッシュボードは、キャッシュされていない入力、キャッシュ読み取り、キャッシュ書き込み、出力トークンの4つの設定可能なレートを使用し、デフォルトはDeepSeekの公開価格設定に一致しています。 このプラグインは、通常のDSHプラグインとして `dsh plugin add` でインストールされ、コレクターやサイドカーは不要です。設定では、カスタムエンドポイント、データベース名、認証、シグナル選択、コンテンツプライバシーモード（none、full、full+prompt）、リテンションTTL、エクスポートタイミングをサポートします。ポジティブ許可リストにより、未知のイベントタイプはそのIDのみをエクスポートすることが保証されます。どのモードでもマシンから出ない3つのカテゴリのデータがあります：ツールのプライベートメタデータ、内部エラーメッセージ、リクエストのスタックトレース。 このプロジェクトは特定のDSHプレリリースバージョンを対象としており、互換性テーブルを含みます。TMA1と統合し、TMA1はOTLPをマネージドGreptimeDBにプロキシします。既知の制限には、DSHのプレリリースの不安定性、実験的なGenAIセマンティック規約、TTLがメトリクステーブルに到達しないこと、ターンごとのフラッシュがないことが含まれます。