dsh-otel

이 프로젝트는 DeepSeek Harness(DSH)용 플러그인으로, AI 에이전트 실행에 대한 완전한 OpenTelemetry 관측 가능성을 제공한다. 트레이스, 메트릭, 로그를 시계열 데이터베이스인 GreptimeDB로 내보내며, 시각화를 위한 7개의 사전 구축된 Grafana 대시보드를 포함한다. 이 플러그인은 DSH 세션의 모든 턴, 모델 호출, 도구 실행을 계측하여 토큰 수(입력, 출력, 캐시 읽기, 캐시 쓰기, 추론 토큰), 지속 시간, 도구 이름, 결과, 오류 정보를 기록한다. 트레이스는 턴 스팬으로 구조화되며, 채팅 및 도구 스팬이 형제로 배치되고 단계 식별자로 상관 관계를 맺는다. 메트릭에는 토큰 사용량, 작업 지속 시간에 대한 히스토그램과 도구 호출 카운터가 포함된다. 로그는 세션 이벤트마다 하나의 레코드를 캡처하며 세션 ID, 이벤트 유형, 턴, 단계에 대해 추출 가능한 열을 제공한다. 7개의 Grafana 대시보드는 다양한 측면을 다룬다: Overview(토큰 수, 속도, 캐시 사용량), Cost(구성 가능한 백만 토큰당 요율을 사용한 비용 추정), Sessions(대화 지속 시간, 턴 수, 실패), Agent Loop(도구 빈도, 실패율, 턴당 모델 호출), Trace Explorer(단일 턴에 대한 스팬별 워터폴), Log Explorer(필터 가능한 세션 이벤트), Metrics(더 긴 보존을 위한 PromQL 기반 뷰). Cost 대시보드는 캐시되지 않은 입력, 캐시 읽기, 캐시 쓰기, 출력 토큰에 대해 네 가지 구성 가능한 요율을 사용하며, 기본값은 DeepSeek의 공식 가격과 일치한다. 이 플러그인은 `dsh plugin add`를 통해 일반 DSH 플러그인으로 설치되며 수집기나 사이드카가 필요 없다. 구성은 사용자 정의 엔드포인트, 데이터베이스 이름, 인증, 신호 선택, 콘텐츠 개인정보 보호 모드(없음, 전체, 전체+프롬프트), 보존 TTL, 내보내기 시점을 지원한다. 긍정 허용 목록을 통해 알 수 없는 이벤트 유형은 해당 ID만 내보내진다. 어떤 모드에서도 시스템을 벗어나지 않는 세 가지 데이터 범주는 도구 비공개 메타데이터, 내부 오류 메시지, 요청 스택 추적이다. 이 프로젝트는 특정 DSH 사전 릴리스 버전을 대상으로 하며 호환성 표를 포함한다. OTLP를 관리형 GreptimeDB로 프록시하는 TMA1과 통합된다. 알려진 제한 사항으로는 DSH의 사전 릴리스 불안정성, 실험적인 GenAI 의미론적 규칙, TTL이 메트릭 테이블에 적용되지 않는 점, 턴별 플러시 부재가 있다.