ai-gateway

AI Gateway는 생산 환경에서 LLM 사용량을 최적화하기 위해 설계된 지능형 라우팅 인프라입니다. 이는 의도 분류, 비용 효율성, 실시간 공급업체 상태 지표에 기반하여 각 요청을 가장 적절한 모델로 동적으로 라우팅합니다. 이 시스템은 간단한 쿼리를 저렴한 모델로 안내함으로써 과금을 방지하는 반면, 복잡한 작업에는 강력한 추론 모델을 확보합니다. Node.js와 Express로 구축되었으며, Groq 및 Google Gemini 같은 공급업체와 통합되고, 의도 감지를 위해 로컬 BGE 임베딩 또는 호스팅 대안을 사용합니다. 주요 기능으로는 일일 할당량과 함께 다중 테넌트 API 키 관리, 정확 일치 + 의미 기반의 두 계층 캐싱, 공급업체 간 자동 장애 조치, 저렴 모델을 추론 모델로 점진적 승격시키는 신뢰도 기반 escalatia가 포함됩니다. 건강 인식 선택은 Welford 알고리즘을 사용하여 모델별 지연 시간 및 실패율을 추적하여 동적 재라우팅을 가능하게 합니다. 캐시 히트율, 지연 시간, 테넌트별 사용량을 보여주는 관리 엔드포인트를 통해 관찰성이 내장되어 있습니다. Redis는 영구 저장 및 캐싱에 사용되며, 개발용으로는 인메모리 폴백이 적용됩니다. 아키텍처는 모듈식, 테스트 가능하며, Upstash Redis와 함께 Koyeb 같은 플랫폼에서 배포할 수 있습니다. 채팅봇이나 단일 모델 래퍼가 아닌, 이 시스템은 신뢰성 향상, 비용 절감, AI 모델 운영에 대한 완전한 가시성을 제공하는 제어 플레인으로 작용합니다. 커스텀 인프라를 구축하지 않고도 생산 환경에서 여러 LLM을 관리하는 팀에게 지능형 라우팅, 복원력, 테넌트 수준 제어가 필요한 경우 이상적입니다.