cxops-ai

CXOps AI 是一个生产级智能体 AI 客户体验平台，融合了自主 AI 工作流、检索增强生成（RAG）、人在回路审批、Zendesk 集成、持久化后台执行以及 AI 可观测性。它旨在展示 AI 智能体如何安全地在真实客户支持环境中运行——而不仅仅是生成聊天机器人回复。 该平台可以摄取客户支持工单，分析客户意图与运营上下文，使用 RAG 检索可信知识，选择合适的支持操作，判断该操作是否可以自主执行，对高风险操作要求人工审批，针对 Zendesk 执行已批准的操作，记录完整的审计轨迹，并监控 AI 延迟、成本、可靠性与工作流结果。 系统有意将 LLM 推理与操作授权分离。模型可以推荐某个操作，但由确定性的应用策略决定该操作是否被允许执行。 核心能力包括： - 智能体 AI 工作流，产出结构化决策，例如 respond、route、escalate、internal_note、human_review 和 no_action。 - 风险感知的工具授权，其策略独立于语言模型。低风险操作自动执行；较高风险操作需要明确的人工审批。 - 完整的 RAG 流水线，将支持决策建立在可信知识之上，支持 PDF、TXT、Markdown 以及手动创建的文档。包括向量相似度搜索、可配置阈值、自适应来源选择、引用、重复文档保护、提示注入防护以及有依据的拒答行为。 - 使用 OAuth 和基于 webhook 的工单事件进行 Zendesk 集成，包括工单检索、创建、更新、评论、同步、客户查询、webhook 签名验证、幂等事件处理、自主内部备注执行以及基于审批的外部操作。 - 人在回路审批队列，允许操作员在批准或拒绝执行之前审查 AI 决策、推理、RAG 证据、拟议回复、计划工具，并添加审查备注。 - 针对低风险操作的自主执行，已针对生产 Zendesk 集成进行端到端验证。 - 持久化后台任务，具有 pending/processing/completed/failed 状态、重试、可配置的最大尝试次数、指数退避、去重键以及错误记录。失败任务会被保留以便审计。 - 安全边界，防止本地演示工单到达 Zendesk，除非满足所有条件。被阻止的尝试会记录为审计事件。 - AI 可观测性，记录请求遥测数据，包括功能、模型、延迟、token 数量、估算成本、成功/失败以及时间戳。 - 智能体 KPI，跟踪总运行次数、自主执行率、成功率、审批率、操作分布、风险分布以及工作流状态。 - ROI 衡量，估算节省的分钟数、劳动力价值、AI 成本与净价值，并有意避免在达到最小样本量之前报告正式 ROI。 - 针对 RAG 和智能体行为的评估工作流。当前测试套件报告 6/6 个 RAG 场景通过，12/12 个智能体场景通过，60/60 次重复运行通过。 生产架构使用 Vercel 承载 Next.js 前端，Render 承载 FastAPI 后端与后台 worker，Nhost 提供带 pgvector 的 PostgreSQL，OpenAI 提供 LLM 与嵌入，Zendesk 用于 CX 集成。 前端提供用于 Home、Tickets、New Test Ticket、AI Agent、Approval Queue、Knowledge/RAG、Runs/Audit Trail 和 Observability 的运营工作区。 技术栈包括 Python 3.11、FastAPI、Pydantic、SQLAlchemy、Alembic、asyncpg、Prometheus 指标、PostgreSQL、pgvector、Next.js、TypeScript、React、Tailwind CSS、GSAP、Lenis、Lucide React、Docker 和 GitHub Actions。 该项目包含本地设置说明、测试命令和生产验证细节。它是一个正在积极开发的组合项目，计划改进包括移动端响应式、更广泛的评估数据集、额外的 CRM/工单集成、更丰富的追踪以及扩展分析。