ai-proxy

이 Node.js 기반 프록시 레이어는 OpenAI 호환 인터페이스(/v1/chat/completions)를 통해 여러 제공업체 간에 AI 모델 요청을 라우팅할 수 있게 합니다. AI 배포의 신뢰성과 유연성을 보장하도록 설계되었습니다. 주요 기능: - 다중 제공업체 폴백: 정의된 우선순위에 따라 동일한 모델의 요청을 여러 제공업체로 라우팅합니다. - 헬스 기반 라우팅: 실시간으로 제공업체 상태를 추적하여 폴백 및 복구를 자동화합니다. - 안전한 설정: 비밀값 하드코딩을 피하기 위해 환경 변수를 통한 API 키 주입을 지원합니다. - 모델 매핑: YAML 구성 파일을 사용해 특정 모델을 다양한 제공업체 엔드포인트 및 API 키에 매핑합니다. - 로컬 관리자 UI: 모델-제공업체 매핑을 관리하기 위한 경량 패널을 선택적으로 제공합니다. - 엣지 지원 설계: Cloudflare Workers나 Vercel Edge와 같은 엣지 플랫폼으로의 마이그레이션이 가능하도록 아키텍처가 구축되었습니다.