llm-router

이 시스템은 OpenAI 및 Anthropic API 요청을 수신하여 설정 가능한 규칙 기반 스코어링에 따라 최적의 가용 모델로 라우팅하는 로컬 결정론적 LLM 라우팅 프록시입니다. 무작위성이나 LLM-in-the-loop 결정 과정이 없습니다. OpenRouter(클라우드 메타 제공자), oMLX(로컬 Apple Silicon 모델), Ollama, 그리고 OpenAI, Groq, Gemini와 같은 직접 클라우드 제공자를 포함한 여러 백엔드를 지원합니다. 시스템은 프로필 해석, 하드 필터링(컨텍스트, 모달리티, 개인정보 보호, 가격 상한선), 가중치 스코어링(비용, 지연 시간, 컨텍스트 여유 공간, 선호도, 품질), 제공자별 플래그 주입이라는 4단계 전문가 시스템을 사용하여 각 요청을 평가합니다. 사용자는 6가지 내장 프로필(예: cheap, fast, private, smart, local) 중에서 선택하거나 설정을 통해 사용자 정의 프로필을 정의할 수 있습니다. 헤더나 바디 필드를 통해 요청별 스티어링이 가능합니다. 이 프록시는 채팅 플레이그라운드, 모델 카탈로그, 라우팅 설명, 사용 통계 및 로그를 위한 웹 인터페이스와 GUI 설정을 위한 네이티브 macOS 메뉴 바 관리 앱을 포함합니다. 업스트림 오류 발생 시 순위 목록에 따라 폴백 처리하며 SSE 응답을 직접 스트리밍합니다. 주요 기능으로는 자동 OpenRouter 키 로테이션, 비밀 정보 마스킹(DLP), API 키에 대한 프로필 고정, Artificial Analysis를 통한 품질 스코어링 등이 있습니다. 지속성 설정 및 SQLite 기록을 포함한 Docker 지원이 제공됩니다. 핫 리로드는 지원되지 않으며 설정 변경 후에는 재시작이 필요합니다. Rust로 구축되었으며 설정, 핵심 로직, 제공자 및 관리 도구를 위한 모듈형 크레이트(crates)로 구성되어 있습니다.