llm-router

LLM Router는 AI 클라이언트(Claude Code, Cursor, Codex CLI 등)와 OpenAI, Anthropic, Google Gemini, DeepSeek를 포함한 다양한 LLM 제공업체 사이에서 지능형 프록시 역할을 하는 로컬 데스크톱 애플리케이션입니다. 이 앱의 주요 목표는 단일 제공업체에 대한 대화 "stickiness"를 유지하여 긴 대화 동안 프롬프트 캐싱 할인이 보존되도록 함으로써 API 비용을 줄이는 것입니다. 이 앱은 통합된 로컬 API 엔드포인트(localhost:11411)를 제공하며 OpenAI 및 Anthropic 스타일의 요청 형식을 모두 지원합니다. 주요 기능은 다음과 같습니다: - 비용 최적화: 사용된 토큰, 지출 금액 및 캐시 적중을 통해 달성한 절감액을 추적합니다. - 지능형 라우팅: 모델 이름, 프롬프트 길이 또는 제공업체 가용성에 따라 요청을 라우팅하는 사용자 정의 규칙을 제공합니다. - 투명성: 특정 모델이 선택된 이유와 고려된 대안을 상세히 설명하는 "Routing Explain" 기능을 제공합니다. - 간편한 통합: Claude Code 및 Codex CLI와 같은 특정 도구를 위한 원클릭 "App Takeover" 기능을 통해 설정을 자동화합니다. - 개인정보 보호: 임베디드 SQLite 데이터베이스를 사용하는 로컬 우선 아키텍처를 채택하였으며, API 키는 로컬에 저장되어 기기를 절대 벗어나지 않습니다. - 크로스 플랫폼 지원: macOS, Windows 및 Linux에서 사용할 수 있습니다.