llm-router

LLM Router는 애플리케이션과 LLM 제공업체(기본값: Perplexity) 사이에 위치하는 미들웨어 계층입니다. 이 시스템은 토큰 수와 키워드 신호를 기반으로 들어오는 프롬프트를 단순(simple), 중간(medium), 복잡(complex) 등급으로 분류한 다음, 각 요청을 가장 비용 효율적인 모델인 sonar(단순), sonar-pro(중간) 또는 sonar-deep-research(복잡)로 라우팅합니다. 모든 요청은 프롬프트, 응답, 토큰, 비용, 지연 시간, 라우팅 이유 및 선택적 프로젝트 태그를 포함한 전체 세부 정보와 함께 PostgreSQL에 기록됩니다. 시스템은 비용 요약, 절감액 계산, 모델/일/프로젝트별 내역을 위한 분석 API를 제공합니다. React 대시보드는 사용량 추세, 비용 분포 및 요청 로그를 시각화하며, Grafana는 실시간 메트릭을 위해 Prometheus와 통합됩니다. 아키텍처는 공급자 불가지론적(provider-agnostic)으로 설계되어 `backend/services/providers/`에서 단일 인터페이스를 구현함으로써 어떤 LLM API든 연결할 수 있습니다. FastAPI, PostgreSQL, React 및 Docker Compose로 구축되었으며, 샘플 데이터 시딩, 데모 스크립트 및 테스트가 포함되어 있습니다. 학습 및 포트폴리오 용도로 설계되었으며 운영 환경용은 아닙니다. 가격 설정 및 API 키 구성이 필요합니다. 성능 오버헤드는 일반적으로 50ms 미만입니다. 향후 확장을 위해 인증, 캐싱 및 멀티테넌시를 위한 플레이스홀더가 포함되어 있습니다.