cxops-ai

CXOps AI는 자율 AI 워크플로우, 검색 증강 생성(RAG), 인간 개입 승인, Zendesk 통합, 지속적 백그라운드 실행, AI 관찰 가능성을 결합한 프로덕션 스타일의 에이전틱 AI 고객 경험 플랫폼입니다. 이는 AI 에이전트가 단순히 챗봇 응답을 생성하는 것이 아니라 실제 고객 지원 환경에서 안전하게 운영될 수 있는 방법을 보여주기 위해 설계되었습니다. 플랫폼은 고객 지원 티켓을 수집하고, 고객 의도와 운영 맥락을 분석하며, RAG를 사용하여 신뢰할 수 있는 지식을 검색하고, 적절한 지원 조치를 선택하며, 해당 조치가 자율적으로 실행될 수 있는지 결정하고, 고위험 조치에 대해 인간 승인을 요구하며, 승인된 조치를 Zendesk에 대해 실행하고, 완전한 감사 추적을 기록하며, AI 지연 시간, 비용, 신뢰성, 워크플로우 결과를 모니터링할 수 있습니다. 시스템은 LLM 추론과 운영 권한 부여를 의도적으로 분리합니다. 모델은 조치를 권장할 수 있지만, 결정적 애플리케이션 정책이 해당 조치의 실행 허용 여부를 결정합니다. 핵심 기능은 다음과 같습니다: - respond, route, escalate, internal_note, human_review, no_action과 같은 구조화된 결정을 생성하는 에이전틱 AI 워크플로우. - 언어 모델과 독립적인 정책을 갖춘 위험 인식 도구 권한 부여. 저위험 작업은 자동으로 실행되고, 고위험 작업은 명시적 인간 승인이 필요합니다. - 지원 결정을 신뢰할 수 있는 지식에 근거하기 위한 완전한 RAG 파이프라인으로, PDF, TXT, Markdown, 수동 생성 문서를 지원합니다. 벡터 유사성 검색, 구성 가능한 임계값, 적응형 소스 선택, 인용, 중복 문서 보호, 프롬프트 주입 보호, 근거 기반 거부 동작을 포함합니다. - OAuth 및 웹훅 기반 티켓 이벤트를 사용하는 Zendesk 통합으로, 티켓 검색, 생성, 업데이트, 댓글, 동기화, 고객 조회, 웹훅 서명 검증, 멱등 이벤트 처리, 자율 내부 메모 실행, 승인 기반 외부 작업을 포함합니다. - 운영자가 AI 결정, 추론, RAG 증거, 제안된 응답, 계획된 도구를 검토하고 실행 승인 또는 거부 전에 검토자 메모를 추가할 수 있는 인간 개입 승인 대기열. - 프로덕션 Zendesk 통합에 대해 종단 간 검증된 저위험 작업의 자율 실행. - 대기 중/처리 중/완료/실패 상태, 재시도, 구성 가능한 최대 시도 횟수, 지수 백오프, 중복 제거 키, 오류 기록이 있는 지속적 백그라운드 작업. 실패한 작업은 감사 가능성을 위해 보존됩니다. - 모든 조건이 충족되지 않는 한 로컬 데모 티켓이 Zendesk에 도달하지 못하도록 방지하는 안전 경계. 차단된 시도는 감사 이벤트로 기록됩니다. - 기능, 모델, 지연 시간, 토큰 수, 예상 비용, 성공/실패, 타임스탬프를 포함한 요청 원격 측정을 기록하는 AI 관찰 가능성. - 총 실행 수, 자율 실행률, 성공률, 승인율, 작업 분포, 위험 분포, 워크플로우 상태를 추적하는 에이전트 KPI. - 절약된 시간, 노동 가치, AI 비용, 순 가치를 추정하는 ROI 측정으로, 최소 표본 크기에 도달할 때까지 공식 ROI 보고를 의도적으로 피합니다. - RAG 및 에이전트 동작 모두에 대한 평가 워크플로우. 현재 제품군은 RAG 시나리오 6/6 통과, 에이전트 시나리오 12/12 통과, 반복 실행 60/60 통과를 보고합니다. 프로덕션 아키텍처는 Next.js 프론트엔드에 Vercel, FastAPI 백엔드 및 백그라운드 작업자에 Render, pgvector를 사용하는 PostgreSQL에 Nhost, LLM 및 임베딩에 OpenAI, CX 통합에 Zendesk를 사용합니다. 프론트엔드는 홈, 티켓, 새 테스트 티켓, AI 에이전트, 승인 대기열, 지식/RAG, 실행/감사 추적, 관찰 가능성을 위한 운영 작업 공간을 제공합니다. 기술 스택에는 Python 3.11, FastAPI, Pydantic, SQLAlchemy, Alembic, asyncpg, Prometheus 메트릭, PostgreSQL, pgvector, Next.js, TypeScript, React, Tailwind CSS, GSAP, Lenis, Lucide React, Docker, GitHub Actions가 포함됩니다. 프로젝트에는 로컬 설정 지침, 테스트 명령, 프로덕션 검증 세부 정보가 포함됩니다. 모바일 반응형, 더 넓은 평가 데이터 세트, 추가 CRM/티켓 통합, 더 풍부한 추적, 확장된 분석을 포함한 개선 계획이 있는 활발히 개발 중인 포트폴리오 프로젝트입니다.