bifrost

Bifrost는 OpenAI, Anthropic, AWS Bedrock, Google Vertex, Azure, Cerebras, Cohere, Mistral, Ollama, Groq 등 다양한 모델 제공업체 앞에 단일 OpenAI 호환 API를 제공하는 AI 게이트웨이입니다. npx 또는 Docker를 통해 로컬에서 시작할 수 있으며 내장 웹 인터페이스, API 또는 구성 파일을 통해 설정할 수 있습니다. README에 설명된 핵심 기능: - 통합 인터페이스: 지원되는 모든 제공업체를 위한 하나의 OpenAI 호환 엔드포인트. - 안정성: 제공업체와 모델 간 자동 폴백, API 키와 제공업체 전반의 로드 밸런싱. - 모델 컨텍스트 프로토콜(MCP): 모델이 파일시스템, 웹 검색, 데이터베이스 등 외부 도구를 호출할 수 있게 합니다. - 시맨틱 캐싱: 의미적 유사성을 기반으로 응답을 캐시하여 비용과 지연 시간을 줄입니다. - 공통 인터페이스 뒤에서 멀티모달 및 스트리밍 지원. - 거버넌스: 가상 키, 사용량 추적, 속도 제한, 팀과 고객을 위한 계층적 예산 관리. - 관측성: Prometheus 메트릭, 분산 추적, 요청 로깅. - 거버넌스, JSON 파싱, 로깅, 시맨틱 캐시, 텔레메트리, 모킹, Maxim 관측성 통합을 위한 모듈이 포함된 플러그인 시스템. - 클러스터링, 사용자 정의 플러그인, OIDC 사용자 프로비저닝, 시크릿 관리와 같은 엔터프라이즈 기능. 배포 옵션으로는 HTTP 게이트웨이(npx 또는 Docker), 임베디드 사용을 위한 Go SDK, 코드 변경 없이 OpenAI, Anthropic, Google GenAI 기본 URL을 대체하는 드롭인 방식이 있습니다. 저장소는 core, framework, transports, ui, plugins, docs, tests 디렉터리로 구성되어 있습니다. README는 초당 5,000건의 요청에서 벤치마크 결과를 보고하며, 추가 지연 시간이 낮고 100% 성공률을 주장하고 전체 벤치마킹 문서 링크를 제공합니다. 이 프로젝트는 Apache 2.0 라이선스를 따릅니다.