프로젝트 소개

TAP (Token Analytics Proxy)는 애플리케이션과 LLM 제공업체(특히 OpenAI) 사이에 위치하도록 설계된 셀프 호스팅 미들웨어입니다. 이를 통해 개발자는 애플리케이션의 핵심 로직을 수정하지 않고도 API 트래픽을 모니터링하고 관리할 수 있습니다. 주요 기능은 다음과 같습니다: - **트래픽 분석**: 모든 호출을 PostgreSQL 데이터베이스에 기록하여 모델 사용량, 토큰 수, 비용, 지연 시간(스트리밍의 경우 TTFT 포함) 및 상태 코드를 추적합니다. - **캐싱**: Redis를 사용하여 요청/응답 쌍을 저장하며, 동일한 요청을 캐시에서 처리하여 비용과 지연 시간을 줄일 수 있습니다. - **속도 제한**: Redis를 사용하여 API 키당 분당 요청 예산을 구현합니다. - **API 키 관리**: 서로 다른 앱이나 팀을 식별하기 위해 커스텀 TAP 키를 발행할 수 있습니다. - **모니터링 대시보드**: 볼륨, 모델별 비용, 속도, 캐시 적중률 및 오류율에 대한 실시간 차트를 제공하는 React 기반 프론트엔드입니다. 이 시스템은 스트리밍 응답을 지원하며 FastAPI, SQLAlchemy 2.0, Redis를 특징으로 하는 비동기 스택을 사용합니다. 또한 관리 작업을 위한 CLI와 라이브 API 키 없이 개발할 수 있는 모의 업스트림 서버가 포함되어 있습니다.