llmproxy

LLM Proxy는 애플리케이션과 OpenAI API 사이에 위치하여 트래픽을 기록하고 검사하는 로컬 디버깅 도구입니다. 개발자는 이를 통해 정확한 프롬프트, 토큰 사용량, 타이밍 및 오류를 실시간으로 모니터링할 수 있습니다. 주요 기능은 다음과 같습니다: - 요청 로깅: 스트리밍 응답을 포함한 모든 /v1/* 엔드포인트를 캡처하여 JSONL 형식으로 디스크에 저장합니다. - Web UI: 요청 기록을 탐색하고, 엔드포인트나 모델별로 필터링하며, 전체 요청/응답 본문을 검사할 수 있는 브라우저 기반 인터페이스를 제공합니다. - 설정: 설정 파일이나 환경 변수를 통해 사용자 정의 포트, API 키 재정의 및 구성 가능한 로깅 레벨을 지원합니다. - 보안: 로그에서 API 키를 마스킹 처리(마지막 4자리만 표시)하며, 기본적으로 localhost에 바인딩됩니다. - 통합: 기본 URL을 로컬 프록시 주소로 변경함으로써 모든 OpenAI 호환 클라이언트 또는 SDK와 호환됩니다.