dsh-otel

Este projeto é um plugin para DeepSeek Harness (DSH) que fornece observabilidade OpenTelemetry completa para execuções de agentes de IA. Ele exporta traces, métricas e logs para o GreptimeDB, um banco de dados de séries temporais, e inclui sete dashboards Grafana pré-construídos para visualização. O plugin instrumenta cada turno, chamada de modelo e execução de ferramenta em uma sessão DSH, registrando contagens de tokens (entrada, saída, leituras de cache, gravações de cache, tokens de raciocínio), durações, nomes de ferramentas, resultados e informações de erro. Os traces são estruturados como spans de turno com spans de chat e ferramenta como irmãos, correlacionados por identificadores de etapa. As métricas incluem histogramas para uso de tokens, durações de operação e contadores de invocação de ferramentas. Os logs capturam um registro por evento de sessão com colunas extraíveis para ID da sessão, tipo de evento, turno e etapa. Sete dashboards Grafana cobrem diferentes aspectos: Visão Geral (contagens de tokens, velocidade, uso de cache), Custo (estimativas monetárias usando taxas configuráveis por milhão de tokens), Sessões (duração da conversa, contagens de turnos, falhas), Loop do Agente (frequência de ferramentas, taxas de falha, chamadas de modelo por turno), Explorador de Traces (waterfall span por span para um único turno), Explorador de Logs (eventos de sessão filtráveis) e Métricas (visualizações baseadas em PromQL para retenção mais longa). O dashboard de Custo usa quatro taxas configuráveis para entrada sem cache, leitura de cache, gravação de cache e tokens de saída, com padrões correspondentes aos preços publicados da DeepSeek. O plugin instala como um plugin DSH comum via `dsh plugin add` e não requer coletor ou sidecar. A configuração suporta endpoints personalizados, nomes de banco de dados, autenticação, seleção de sinais, modos de privacidade de conteúdo (nenhum, completo, completo+prompt), TTL de retenção e tempo de exportação. Uma allowlist positiva garante que tipos de eventos desconhecidos exportem apenas sua identidade. Três categorias de dados nunca saem da máquina em nenhum modo: metadados privados de ferramentas, mensagens de erro internas e stack traces de solicitações. O projeto visa versões pré-lançamento específicas do DSH e inclui tabelas de compatibilidade. Ele integra-se com o TMA1, que faz proxy de OTLP para um GreptimeDB gerenciado. Limitações conhecidas incluem instabilidade pré-lançamento do DSH, convenções semânticas GenAI experimentais, TTL não alcançando tabelas de métricas e ausência de flush por turno.