bifrost

Bifrost é um gateway de IA que fornece uma única API compatível com OpenAI na frente de muitos provedores de modelos, incluindo OpenAI, Anthropic, AWS Bedrock, Google Vertex, Azure, Cerebras, Cohere, Mistral, Ollama e Groq. Ele pode ser iniciado localmente via npx ou Docker e configurado por meio de uma interface web integrada, uma API ou arquivos de configuração. Principais capacidades descritas no README: - Interface unificada: um endpoint compatível com OpenAI para todos os provedores suportados. - Confiabilidade: fallbacks automáticos entre provedores e modelos, além de balanceamento de carga entre chaves de API e provedores. - Model Context Protocol (MCP): permite que os modelos chamem ferramentas externas, como sistema de arquivos, busca na web e bancos de dados. - Cache semântico: armazena respostas em cache com base na similaridade semântica para reduzir custo e latência. - Suporte multimodal e streaming por trás de uma interface comum. - Governança: chaves virtuais, rastreamento de uso, limitação de taxa, gerenciamento hierárquico de orçamento para equipes e clientes. - Observabilidade: métricas Prometheus, rastreamento distribuído e registro de requisições. - Sistema de plugins com módulos para governança, análise de JSON, logging, cache semântico, telemetria, mocking e integração de observabilidade Maxim. - Recursos empresariais, como clustering, plugins personalizados, provisionamento de usuários OIDC e gerenciamento de segredos. As opções de implantação incluem um gateway HTTP (npx ou Docker), um SDK Go para uso embarcado e substituição direta das URLs base da OpenAI, Anthropic e Google GenAI sem alterações no código. O repositório está organizado nos diretórios core, framework, transports, ui, plugins, docs e tests. O README relata resultados de benchmark a 5.000 requisições por segundo, alegando baixa latência adicional e taxa de sucesso de 100%, com links para a documentação completa de benchmarking. O projeto é licenciado sob Apache 2.0.