traceroot

TraceRoot는 프로덕션 AI 에이전트 시스템을 확장할 때 흔히 겪는 문제를 해결하기 위해 설계되었습니다. 모든 트레이스를 수동으로 검토하는 것은 지속 불가능하고, 에이전트 실패에 대한 크로스 스택 디버깅은 파편화되어 있으며, 에이전트 개선 과정은 종종 임시방편에 그칩니다. 핵심 기능으로는 Python 및 TypeScript SDK를 통한 OpenTelemetry 호환 트레이싱이 있으며, 전체 LLM 호출, 도구 사용, 다단계 에이전트 실행을 캡처하고 입력, 출력, 지연 시간, 토큰 소비 및 관련 비용에 대한 가시성을 제공합니다. 또한 구성 가능한 탐지기를 제공하여 수신되는 프로덕션 트레이스를 자동으로 검사해 환각, 도구 실패, 논리 오류, 안전 문제를 표시하며, 조정 가능한 샘플링 비율과 선택 가능한 판정 모델을 지원합니다. 플랫폼에는 에이전트가 안정적으로 처리해야 하는 테스트 케이스를 작성, 버전 관리, 게시하기 위한 데이터셋 도구와, 큐레이션된 데이터셋에 대해 에이전트 시스템을 실행하고 케이스별 점수를 제공하며 후보 버전 간 성능을 비교하는 오프라인 평가 워크플로가 포함되어 있으며, 모든 테스트 케이스는 검사 가능한 트레이스로 저장됩니다. 전용 CLI 도구를 통해 사용자는 트레이스와 탐지기 결과를 읽고, 내보내고, 검사하여 기존 코딩 워크플로에 에이전트 디버깅을 통합할 수 있습니다. 내장 대시보드와 구성 가능한 임계값 알림은 시간 경과에 따른 에이전트 품질, 지연 시간, 비용을 추적하며, 앱 내 AI 어시스턴트는 연결된 소스 코드와 GitHub 컨텍스트에 접근하여 트레이스 데이터를 탐색할 수 있고, 호스팅 모델 또는 사용자 제공 API 키를 지원합니다. 플랫폼에는 LangChain 및 LangGraph, CrewAI, AutoGen, OpenAI Agents SDK, Claude Agent SDK, LlamaIndex, DSPy, Pydantic AI, Mastra, Vercel AI SDK를 포함한 다양한 인기 에이전트 프레임워크용 사전 구축된 계측과 OpenAI, Anthropic, Google Gemini, Mistral, OpenRouter 같은 주요 모델 제공자에 대한 네이티브 트레이싱 지원이 포함되어 있습니다. 사용자는 호스팅형 TraceRoot Cloud 서비스로 빠르게 시작하거나, Docker를 통해 전체 플랫폼을 로컬에서 셀프 호스팅할 수 있으며, localhost:3000에서 인터페이스를 실행하는 간단한 설정 과정을 제공합니다. 핵심 플랫폼 코드는 Apache 2.0 라이선스로 공개되며, 일부 엔터프라이즈 디렉터리는 별도의 엔터프라이즈 라이선스가 적용됩니다. 플랫폼은 모든 주요 모델 제공자에 대해 자체 키 접근을 지원하여 벤더 종속이 없고, 확인된 프로덕션 실패를 오프라인 평가 루프에 연결하여 모든 수정이 실제 엣지 케이스에 대해 검증되도록 함으로써, successive 릴리스에 걸쳐 에이전트 시스템을 위한 반복 가능하고 측정 가능한 개선 프로세스를 만듭니다.