opik

Opik 是由 Comet 构建的 Apache-2.0 许可开源平台，用于 LLM 可观测性、评估和 AI 智能体追踪。它覆盖 LLM 应用的完整生命周期，从开发阶段的追踪到生产环境监控。核心能力包括对 LLM 调用和多步骤智能体工作流的深度追踪、用于评估的数据集与实验、用于幻觉检测和 RAG 评估的 LLM-as-a-judge 指标、提示词管理，以及具备在线评估规则的生产级仪表板。该平台与框架无关，支持 Python 和 TypeScript SDK、OpenTelemetry，以及众多第三方集成，包括 LangChain、Anthropic、Bedrock、CrewAI 和 Autogen。Opik 可通过 Docker Compose 自托管用于本地开发，或通过 Kubernetes 配合 Helm 进行可扩展部署，完整的服务器后端和 Web 应用均在开源许可下提供。PyTest 集成支持在 CI/CD 中评估 LLM 流水线，MCP 服务器则允许 Claude Code 和 Cursor 等编码智能体访问追踪数据并运行评估。