tracely-ai

Tracely는 AI 에이전트를 위한 자체 호스팅 가능한 트레이스 네이티브 CI/CD 시스템입니다. OTLP/HTTP를 통해 에이전트 트레이스를 수집하고, 구조적 검사와 LLM 심사로 평가하며, 실패를 이슈로 클러스터링하고, 실패한 트레이스를 기록된 도구 및 LLM 픽스처와 함께 밀폐형 회귀 케이스로 승격합니다. 이러한 케이스는 모델 비용 없이 CI에서 재생되며 GitHub Action을 통해 풀 리퀘스트를 차단할 수 있습니다. 이 플랫폼은 트레이스 타임라인, 대화 재생 및 Fleet 뷰, 평가자 열, 실패 클러스터, 시나리오 작성, CI 게이트, Slack/이메일/웹훅/LLM 단계가 있는 시각적 알림 흐름 빌더, 트렌드 및 교차 지표 분석, 심사자 캘리브레이션, 인앱 어시스턴트, MCP 서버를 갖춘 대시보드를 포함합니다. 로컬 사용을 위한 Docker Compose, Railway 원클릭 배포, OpenAI, Anthropic, Google, Mistral, LangChain 호출을 자동 계측하는 Python SDK와 함께 제공됩니다. 스택은 FastAPI, Celery, Next.js, Postgres, ClickHouse, Redis, MinIO를 사용합니다.