dsh-otel

Este proyecto es un plugin para DeepSeek Harness (DSH) que proporciona observabilidad completa de OpenTelemetry para ejecuciones de agentes de IA. Exporta trazas, métricas y registros a GreptimeDB, una base de datos de series temporales, e incluye siete paneles de Grafana preconstruidos para visualización. El plugin instrumenta cada turno, llamada de modelo y ejecución de herramienta en una sesión de DSH, registrando conteos de tokens (entrada, salida, lecturas de caché, escrituras de caché, tokens de razonamiento), duraciones, nombres de herramientas, resultados e información de errores. Las trazas se estructuran como tramos de turno con tramos de chat y herramienta como hermanos, correlacionados por identificadores de paso. Las métricas incluyen histogramas para uso de tokens, duraciones de operaciones y contadores de invocación de herramientas. Los registros capturan un registro por evento de sesión con columnas extraíbles para ID de sesión, tipo de evento, turno y paso. Siete paneles de Grafana cubren diferentes aspectos: Resumen (conteos de tokens, velocidad, uso de caché), Costo (estimaciones monetarias usando tarifas configurables por millón de tokens), Sesiones (duración de conversación, conteos de turnos, fallos), Bucle de Agente (frecuencia de herramientas, tasas de fallo, llamadas de modelo por turno), Explorador de Trazas (vista en cascada tramo por tramo para un solo turno), Explorador de Registros (eventos de sesión filtrables) y Métricas (vistas basadas en PromQL para retención más larga). El panel de Costo usa cuatro tarifas configurables para entrada no almacenada en caché, lectura de caché, escritura de caché y tokens de salida, con valores predeterminados que coinciden con los precios publicados de DeepSeek. El plugin se instala como un plugin ordinario de DSH mediante `dsh plugin add` y no requiere colector ni sidecar. La configuración admite endpoints personalizados, nombres de base de datos, autenticación, selección de señales, modos de privacidad de contenido (ninguno, completo, completo+prompt), TTL de retención y temporización de exportación. Una lista blanca positiva asegura que tipos de eventos desconocidos exporten solo su identidad. Tres categorías de datos nunca salen de la máquina en ningún modo: metadatos privados de herramientas, mensajes de error internos y trazas de pila de solicitudes. El proyecto apunta a versiones prerelease específicas de DSH e incluye tablas de compatibilidad. Se integra con TMA1, que actúa como proxy de OTLP hacia una GreptimeDB gestionada. Las limitaciones conocidas incluyen inestabilidad prerelease de DSH, convenciones semánticas experimentales de GenAI, TTL que no alcanza tablas de métricas y ausencia de vaciado por turno.