Об этом проекте

Этот проект представляет собой плагин для DeepSeek Harness (DSH), обеспечивающий полную наблюдаемость OpenTelemetry для запусков ИИ-агентов. Он экспортирует трассы, метрики и логи в GreptimeDB — базу данных временных рядов, и поставляется с семью готовыми дашбордами Grafana для визуализации. Плагин инструментирует каждый ход, вызов модели и выполнение инструмента в сессии DSH, записывая количество токенов (входные, выходные, чтения кэша, записи кэша, токены рассуждений), длительности, имена инструментов, результаты и информацию об ошибках. Трассы структурированы как спаны ходов с чат- и инструментальными спанами в качестве родственных, коррелируемыми по идентификаторам шагов. Метрики включают гистограммы для использования токенов, длительности операций и счетчики вызовов инструментов. Логи фиксируют одну запись на событие сессии с извлекаемыми колонками для идентификатора сессии, типа события, хода и шага. Семь дашбордов Grafana охватывают разные аспекты: Обзор (количество токенов, скорость, использование кэша), Затраты (денежные оценки с настраиваемыми ставками за миллион токенов), Сессии (длительность разговора, количество ходов, сбои), Цикл агента (частота инструментов, частота сбоев, вызовы моделей на ход), Обозреватель трасс (водопад по спанам для одного хода), Обозреватель логов (фильтруемые события сессий) и Метрики (представления на основе PromQL для более длительного хранения). Дашборд затрат использует четыре настраиваемые ставки для некэшированных входных, чтения кэша, записи кэша и выходных токенов, с значениями по умолчанию, соответствующими опубликованным ценам DeepSeek. Плагин устанавливается как обычный плагин DSH через `dsh plugin add` и не требует коллектора или сайдкара. Конфигурация поддерживает пользовательские конечные точки, имена баз данных, аутентификацию, выбор сигналов, режимы конфиденциальности контента (нет, полный, полный+промпт), TTL хранения и время экспорта. Позитивный белый список гарантирует, что неизвестные типы событий экспортируют только свою идентичность. Три категории данных никогда не покидают машину в любом режиме: приватные метаданные инструментов, внутренние сообщения об ошибках и стек-трейсы запросов. Проект нацелен на конкретные предрелизные версии DSH и включает таблицы совместимости. Он интегрируется с TMA1, который проксирует OTLP в управляемую GreptimeDB. Известные ограничения включают нестабильность предрелизного DSH, экспериментальные семантические конвенции GenAI, недоступность TTL для таблиц метрик и отсутствие сброса по ходам.