Об этом проекте

Opik — это открытая платформа с лицензией Apache-2.0 для наблюдаемости LLM, оценки и трассировки AI-агентов, созданная компанией Comet. Она охватывает весь жизненный цикл LLM-приложений: от трассировки на этапе разработки до мониторинга в production. Ключевые возможности включают глубокую трассировку вызовов LLM и многошаговых рабочих процессов агентов, наборы данных и эксперименты для оценки, метрики LLM-as-a-judge для обнаружения галлюцинаций и оценки RAG, управление промптами, а также готовые к production дашборды с правилами онлайн-оценки. Платформа не зависит от фреймворка и поддерживает SDK для Python и TypeScript, OpenTelemetry и множество сторонних интеграций, включая LangChain, Anthropic, Bedrock, CrewAI и Autogen. Opik можно развернуть самостоятельно с помощью Docker Compose для локальной разработки или Kubernetes с Helm для масштабируемых развертываний; полный серверный бэкенд и веб-приложение включены в открытую лицензию. Интеграция с PyTest позволяет проводить оценку LLM-пайплайнов в CI/CD, а сервер MCP дает таким агентам для программирования, как Claude Code и Cursor, доступ к трассировкам и возможность запускать оценки.