langfuse

Langfuse 是一个用于 LLM 应用可观测性和评估的开源平台。它旨在帮助团队协作开发、监控、评估和调试 AI 应用，并可在几分钟内完成自托管。 README 中描述的核心能力： - LLM 应用可观测性：对应用进行插桩以摄取追踪数据，跟踪 LLM 调用以及检索、嵌入和代理操作等相关逻辑；检查并调试日志和用户会话。 - 提示词管理：集中管理、版本控制并协作迭代提示词，通过服务端和客户端缓存避免额外延迟。 - 评估：支持 LLM 作为评审、代码评估器、用户反馈收集、手动标注以及通过 API/SDK 实现的自定义评估管道。 - 数据集：用于评估应用的测试集和基准，支持持续改进、部署前测试和结构化实验，并与 LangChain 和 LlamaIndex 等框架集成。 - LLM 游乐场：测试并迭代提示词和模型配置，并可从追踪直接跳转到游乐场。 - API：提供 OpenAPI 规范、Postman 集合以及 Python 和 JS/TS 的类型化 SDK，用于构建自定义 LLMOps 工作流。 部署选项包括托管云服务和自托管：通过 Docker Compose 在本地或虚拟机上运行，使用 Kubernetes 配合 Helm（被描述为首选的生产部署方式），以及适用于 AWS、Azure 和 GCP 的 Terraform 模板。该项目基于 ClickHouse 构建。 列出的集成包括 Python 和 JS/TS 的 SDK，以及 OpenAI、LangChain、LlamaIndex、Haystack、LiteLLM、Vercel AI SDK 和 Mastra，还有 Instructor、DSPy、Mirascope、Ollama、Amazon Bedrock、AutoGen、Flowise、Langflow、Dify、OpenWebUI、Promptfoo、LobeChat、Vapi、Inferable、Gradio、Goose、smolagents 和 CrewAI 等包和工具。 快速入门指南展示了安装 Python 包、设置密钥和基础 URL 的环境变量，以及使用 @observe() 装饰器配合 OpenAI 集成记录首次 LLM 调用并在 UI 中查看追踪。 该仓库采用 MIT 许可证（ee 文件夹除外）。支持通过文档、常见问题解答、Ask AI 功能、GitHub Discussions 和 Issues 提供。欢迎通过想法、问题和拉取请求进行贡献。