opik

Opik est une plateforme open source sous licence Apache-2.0 pour l’observabilité des LLM, l’évaluation et le traçage des agents IA, créée par Comet. Elle couvre l’ensemble du cycle de vie des applications LLM, du traçage en développement à la surveillance en production. Ses principales capacités incluent le traçage approfondi des appels LLM et des workflows d’agents multi-étapes, des jeux de données et des expériences pour l’évaluation, des métriques LLM-as-a-judge pour la détection d’hallucinations et l’évaluation RAG, la gestion des prompts, ainsi que des tableaux de bord prêts pour la production avec des règles d’évaluation en ligne. La plateforme est agnostique en matière de framework et prend en charge les SDK Python et TypeScript, OpenTelemetry, ainsi que de nombreuses intégrations tierces, notamment LangChain, Anthropic, Bedrock, CrewAI et Autogen. Opik peut être auto-hébergé avec Docker Compose pour le développement local ou Kubernetes avec Helm pour des déploiements évolutifs, l’ensemble du backend serveur et de l’application web étant inclus sous licence open source. Une intégration PyTest permet l’évaluation des pipelines LLM en CI/CD, et un serveur MCP permet à des agents de codage comme Claude Code et Cursor d’accéder aux traces et d’exécuter des évaluations.