elygate

Bifrost est une passerelle IA haute performance conçue pour unifier l'accès à plus de 23 fournisseurs d'IA — dont OpenAI, Anthropic, AWS Bedrock, Google Vertex, Azure et bien d'autres — au moyen d'une seule API compatible OpenAI. Il supprime le besoin de Redis en s'appuyant sur Bun et PostgreSQL 18, et propose des fonctionnalités telles que la mise en cache sémantique, une facturation en O(1), le partitionnement automatique et la bascule automatique en cas de défaillance. Les benchmarks montrent qu'il n'ajoute que 11 μs de surcharge par requête à 5k RPS, avec un taux de succès de 100 % et des temps d'attente en file d'attente inférieurs à la microseconde. Le déploiement est simplifié : les utilisateurs peuvent lancer Bifrost localement via NPX ou Docker en moins d'une minute, puis le configurer à travers une interface web intégrée. Il prend en charge des remplacements SDK « drop-in » pour OpenAI, Anthropic et Google GenAI avec un simple changement d'URL en une ligne. Les capacités avancées incluent le Model Context Protocol (MCP) pour l'intégration d'outils externes, le support multimodal (texte, images, audio), des plugins personnalisés, une gouvernance avec clés virtuelles, la gestion des budgets, le provisionnement utilisateur via OIDC et l'observabilité grâce à Prometheus et au tracing distribué. L'architecture est modulaire, avec des composants dédiés aux fournisseurs, au stockage de configuration, au transport HTTP, à l'interface utilisateur et à des plugins extensibles. Les déploiements enterprise déverrouillent le clustering, l'équilibrage de charge adaptatif, des garde-fous (guardrails) et la gestion des secrets. La documentation couvre l'installation, les intégrations avec LangChain, LiteLLM et autres, ainsi que les benchmarks de performance et les directives de contribution. Sous licence Apache 2.0, développé par Maxim.