llmux

LLMux는 통합 API를 통해 여러 대규모 언어 모델(LLM) 제공업체를 관리하도록 설계된 Rust 기반 게이트웨이입니다. async Rust를 활용하여 지연 시간과 오버헤드를 최소화하는 데 중점을 둡니다. 주요 기능은 다음과 같습니다: - 통합 API: OpenAI 및 Anthropic(Claude)과 같은 제공업체와 상호작용하기 위한 단일 인터페이스를 제공합니다. - 키 관리: API 키의 자동 순환을 지원하여 부하 분산을 용이하게 하고 속도 제한을 방지합니다. - 트래픽 제어: 분당 요청 수 및 토큰 사용량(입력/출력)을 기반으로 속도 제한 및 할당량을 구현합니다. - 관측 가능성: 사용량 및 성능 모니터링을 위한 Prometheus 메트릭이 내장되어 있습니다. - 모델 매핑: 'default', 'fast', 'premium'과 같이 특정 사용 사례에 맞는 다양한 모델을 구성할 수 있습니다.