À propos du projet

Tracely est un système CI/CD natif des traces pour agents IA, auto-hébergeable. Il ingère les traces d'agents via OTLP/HTTP, les évalue avec des contrôles structurels et des juges LLM, regroupe les échecs en problèmes, et promeut les traces en échec en cas de régression hermétiques avec des fixtures d'outils et de LLM enregistrées. Ces cas sont rejoués en CI à coût de modèle nul et peuvent bloquer les pull requests via une GitHub Action. La plateforme comprend un tableau de bord avec chronologies de traces, relecture de conversation et vues Fleet, colonnes d'évaluateurs, regroupements d'échecs, création de scénarios, portes CI, un constructeur visuel de flux d'alertes avec étapes Slack/email/webhook/LLM, tendances et analyse transversale des métriques, calibrage des juges, un assistant intégré et un serveur MCP. Elle est livrée avec Docker Compose pour une utilisation locale, un déploiement en un clic sur Railway, et un SDK Python qui instrumente automatiquement les appels OpenAI, Anthropic, Google, Mistral et LangChain. La pile utilise FastAPI, Celery, Next.js, Postgres, ClickHouse, Redis et MinIO.