프로젝트 소개

Peaky Peek(agent_debugger)는 AI 에이전트 디버깅 전용으로 설계된 로컬 우선(local-first) 오픈소스 감사 및 신뢰 콘솔입니다. LangSmith, OpenTelemetry, Sentry와 같은 기존 관측 도구와 달리 Peaky Peek는 운영자가 실제로 관심을 갖는 질문, 즉 "이 에이전트가 수행한 일을 신뢰할 수 있는가?"에 답하는 데 초점을 맞춥니다. 이 도구는 모든 에이전트 행동 뒤의 완전한 인과 체인을 캡처하고 각 실행을 다섯 가지 핵심 질문에 답하는 감사 기록으로 재구성합니다: 무슨 일이 있었는지, 왜, 어떤 증거로, 어떤 결과로, 어디서 실패했는지. 모든 주장은 결정적으로 검증됨, 부분 검증됨, 모순됨, 뒷받침되지 않음, 검증되지 않음, 오래됨 중 하나로 분류되며, 각 세션은 설명 가능한 신뢰 점수와 명명된 상태(행동, 검증 우선, 행동 금지)가 포함된 평결 카드를 받습니다. 주요 기능은 다음과 같습니다: - 에이전트 감사 및 신뢰 콘솔: 결정적 평결 카드, 설명 가능한 신뢰 점수, 실패 내러티브, 검증 배지, 위험 신호 - 의사결정 트리 시각화: 에이전트 추론을 대화형 트리로 탐색 - 체크포인트 재생: 체크포인트 인식 재생으로 에이전트 실행을 시간 여행처럼 탐색 - 트레이스 검색: 모든 세션에서 특정 이벤트 검색 - 실패 클러스터링 및 다중 에이전트 조정: 유사한 실패에 대한 적응형 분석 - 세션 비교: 두 에이전트 실행을 나란히 비교 통합은 세 가지 방법으로 제공됩니다: 간단한 데코레이터(@trace), 컨텍스트 관리자(trace_session), 그리고 PydanticAI, LangChain, OpenAI SDK, CrewAI, AutoGen, LlamaIndex, Anthropic과 코드 변경 없이 작동하는 제로 구성 자동 패치입니다. 아키텍처는 계측을 위한 SDK 레이어, 탐지 및 재생을 위한 인텔리전스 레이어, SQLite 저장소를 갖춘 FastAPI 서버, 9개의 특화 패널로 구성된 React/TypeScript 프론트엔드로 이루어져 있습니다. 이 프로젝트는 MIT 라이선스이며 Python 3.10+가 필요하고 pip에서 peaky-peek-server로 설치할 수 있습니다. 개인정보 보호 기능에는 외부 텔레메트리가 없는 로컬 우선 운영, 선택적 redaction 파이프라인, bcrypt 해싱을 사용한 API 키 인증, 클라우드 의존성이 없는 SQLite 저장소가 포함됩니다.