bifrost

Bifrost est une passerelle IA qui fournit une API unique compatible OpenAI devant de nombreux fournisseurs de modèles, notamment OpenAI, Anthropic, AWS Bedrock, Google Vertex, Azure, Cerebras, Cohere, Mistral, Ollama et Groq. Elle peut être démarrée localement via npx ou Docker et configurée par une interface web intégrée, une API ou des fichiers de configuration. Capacités principales décrites dans le README : - Interface unifiée : un point de terminaison compatible OpenAI pour tous les fournisseurs pris en charge. - Fiabilité : bascules automatiques entre fournisseurs et modèles, ainsi qu'un équilibrage de charge entre les clés API et les fournisseurs. - Model Context Protocol (MCP) : permet aux modèles d'appeler des outils externes tels que le système de fichiers, la recherche web et les bases de données. - Cache sémantique : met en cache les réponses en fonction de la similarité sémantique pour réduire les coûts et la latence. - Support multimodal et streaming derrière une interface commune. - Gouvernance : clés virtuelles, suivi de l'utilisation, limitation de débit, gestion budgétaire hiérarchique pour les équipes et les clients. - Observabilité : métriques Prometheus, traçage distribué et journalisation des requêtes. - Système de plugins avec des modules pour la gouvernance, l'analyse JSON, la journalisation, le cache sémantique, la télémétrie, le mocking et l'intégration d'observabilité Maxim. - Fonctionnalités d'entreprise telles que le clustering, les plugins personnalisés, le provisionnement d'utilisateurs OIDC et la gestion des secrets. Les options de déploiement incluent une passerelle HTTP (npx ou Docker), un SDK Go pour une utilisation embarquée, et le remplacement direct des URL de base d'OpenAI, d'Anthropic et de Google GenAI sans modification de code. Le dépôt est organisé en répertoires core, framework, transports, ui, plugins, docs et tests. Le README rapporte des résultats de benchmark à 5 000 requêtes par seconde, revendiquant une faible latence ajoutée et un taux de réussite de 100 %, avec des liens vers la documentation complète des benchmarks. Le projet est sous licence Apache 2.0.