llm_router

Azure OpenAI Proxy는 다양한 LLM API 버전을 공통의 OpenAI 호환 인터페이스로 조정하도록 설계된 라우터입니다. 클라이언트와 Azure OpenAI 인스턴스 사이에 관리 계층을 제공하여 고가용성과 제어된 사용량을 보장합니다. 주요 기능은 다음과 같습니다: - **라우팅 및 부하 분산**: 장애 조치(failover), 가중치 기반, 라운드 로빈을 포함한 라우팅 전략을 통해 여러 Azure OpenAI 인스턴스를 지원합니다. - **트래픽 제어**: 분당 토큰 수(TPM)를 기반으로 자동 속도 제한을 구현합니다. - **인스턴스 관리**: 인스턴스 추가, 업데이트, 제거 및 검증뿐만 아니라 상태 및 성능 지표를 모니터링하기 위한 포괄적인 API 엔드포인트 세트를 제공합니다. - **구성 유연성**: 계층적 구성 시스템(YAML, 환경 변수 및 SQLite)을 사용하며, 서비스 재시작 없이 핫 리로딩을 지원합니다. - **지속성 및 신뢰성**: 상태 관리 및 구성 지속성을 위해 SQLite를 활용하며, 여기에는 버전 기록, 롤백 기능, 백업 및 상태 확인을 위한 전용 유지 관리 유틸리티가 포함됩니다. - **API 호환성**: 채팅 완성(chat completions), 완성(completions) 및 임베딩(embeddings)을 위한 표준 OpenAI 엔드포인트를 지원합니다.