프로젝트 소개

llm-budget-proxy는 OpenAI API 사용량 관리를 위해 설계된 전문 리버스 프록시입니다. 키별 토큰 예산(일일 또는 월간)과 속도 제한(RPM/TPM)을 통해 API 소비에 대한 세밀한 제어를 제공합니다. 주요 기능으로는 지출 모니터링을 위한 내장 비용 대시보드, 비용 절감을 위한 정확 일치 응답 캐싱, 그리고 예산 임계값에 도달했을 때 자동으로 더 저렴한 모델로 전환하는 모델 다운그레이드 기능이 포함됩니다. 이 시스템은 TypeScript로 구축되었으며 데이터 지속성을 위해 SQLite를 사용하여 단일 Docker 컨테이너로 쉽게 배포할 수 있습니다. 또한 예산 알림을 위한 웹훅을 지원하며, 응답 시 요청 비용 및 남은 예산과 같은 상세한 커스텀 헤더를 제공합니다. OpenAI에 집중하고 있지만, 개발 및 스테이징 환경에서 더 복잡한 LLM 게이트웨이를 대체할 수 있는 가벼운 대안 역할을 합니다.