Sobre o projeto

Tracely é um sistema CI/CD nativo de traces, auto-hospedável, para agentes de IA. Ele ingere traces de agentes via OTLP/HTTP, avalia-os com verificações estruturais e juízes LLM, agrupa falhas em problemas e promove traces com falha a casos de regressão herméticos com fixtures gravadas de ferramentas e LLM. Esses casos são reproduzidos em CI com custo zero de modelo e podem bloquear pull requests por meio de uma GitHub Action. A plataforma inclui um dashboard com linhas do tempo de traces, reprodução de conversas e visualizações Fleet, colunas de avaliadores, clusters de falhas, criação de cenários, gates de CI, um construtor visual de fluxos de alerta com etapas de Slack/email/webhook/LLM, tendências e análise entre métricas, calibração de juízes, um assistente no aplicativo e um servidor MCP. Ela é fornecida com Docker Compose para uso local, uma implantação Railway com um clique e um SDK Python que instrumenta automaticamente chamadas OpenAI, Anthropic, Google, Mistral e LangChain. A stack usa FastAPI, Celery, Next.js, Postgres, ClickHouse, Redis e MinIO.