elygate

Bifrost는 OpenAI, Anthropic, AWS Bedrock, Google Vertex, Azure 등 23개 이상의 AI 제공업체에 대한 접근을 단일 OpenAI 호환 API로 통합하도록 설계된 고성능 AI 게이트웨이입니다. Redis 없이 Bun과 PostgreSQL 18을 활용하여 시맨틱 캐싱, O(1) 과금, 자동 파티션 분할, 자동 장애 조치 등의 기능을 제공하며, 벤치마크 결과 초당 5,000 요청(RPS)에서 요청당 오버헤드는 단 11μs이고 성공률은 100%, 대기 시간은 마이크로초 단위 미만입니다. 배포는 매우 간소화되어 있어 NPX나 Docker로 현지 환경에서 1분 이내에 시작할 수 있으며, 내장 웹 UI를 통해 구성할 수 있습니다. OpenAI, Anthropic, Google GenAI SDK를 위한 드롭인 교체 지원을 제공하며 URL만 변경하면 됩니다. 고급 기능으로는 외부 도구 통합을 위한 Model Context Protocol(MCP), 멀티모달 지원(텍스트, 이미지, 오디오), 커스텀 플러그인, 가상 키를 통한 거버넌스, 예산 관리, OIDC 사용자 프로비저닝, Prometheus 및 분산 트레이싱 기반 관측 가능성이 포함됩니다. 아키텍처는 제공업체, 구성 저장소, HTTP 트랜스포트, UI, 확장 가능한 플러그인으로 구성된 모듈식 구조입니다. 엔터프라이즈 배포에서는 클러스터링, 적응형 부하 분산, 가드레일, 보안 비밀 관리 기능이 추가됩니다. 문서는 LangChain, LiteLLM 등과의 통합, 성능 벤치마크 및 기여 가이드라인을 포함합니다. Apache 2.0 라이선스로 Maxim이 개발했습니다.