프로젝트 소개

multi-model-llm-gateway는 다양한 대규모 언어 모델(LLM) 제공업체와 상호작용하기 위한 단일 진입점을 제공합니다. 이는 제공업체 장애 시 서비스 연속성을 보장하는 폴백(fallback)과 사용 가능한 제공업체 간에 요청을 분산하는 부하 분산(load balancing)이라는 두 가지 주요 메커니즘을 통해 신뢰성과 효율성을 높이도록 설계되었습니다.