这个项目能做什么

本项目是DeepSeek Harness(DSH)的一个插件,为AI代理运行提供完整的OpenTelemetry可观测性。它将追踪、指标和日志导出到时序数据库GreptimeDB,并附带七个预构建的Grafana仪表盘用于可视化。 该插件对DSH会话中的每次轮次、模型调用和工具执行进行插桩,记录令牌数量(输入、输出、缓存读取、缓存写入、推理令牌)、持续时间、工具名称、结果和错误信息。追踪结构化为轮次跨度,聊天和工具跨度作为兄弟节点,通过步骤标识符关联。指标包括令牌使用、操作持续时间的直方图以及工具调用计数器。日志为每个会话事件捕获一条记录,包含会话ID、事件类型、轮次和步骤等可提取列。 七个Grafana仪表盘涵盖不同方面:概览(令牌数量、速度、缓存使用)、成本(使用可配置的每百万令牌费率进行货币估算)、会话(对话持续时间、轮次计数、失败)、代理循环(工具频率、失败率、每轮模型调用)、追踪浏览器(单轮次逐跨度瀑布图)、日志浏览器(可过滤的会话事件)和指标(基于PromQL的视图,用于更长的保留期)。成本仪表盘使用四个可配置费率,分别针对未缓存输入、缓存读取、缓存写入和输出令牌,默认值与DeepSeek公布的定价一致。 该插件通过`dsh plugin add`作为普通DSH插件安装,无需收集器或边车。配置支持自定义端点、数据库名称、认证、信号选择、内容隐私模式(无、完整、完整+提示)、保留TTL和导出时机。正向允许列表确保未知事件类型仅导出其身份。在任何模式下,三类数据都不会离开机器:工具私有元数据、内部错误消息和请求堆栈跟踪。 该项目针对特定的DSH预发布版本,并包含兼容性表。它与TMA1集成,TMA1将OTLP代理到托管的GreptimeDB。已知限制包括DSH预发布的不稳定性、实验性GenAI语义约定、TTL不适用于指标表,以及不支持每轮刷新。