elygate

Bifrostは、OpenAI、Anthropic、AWS Bedrock、Google Vertex、Azureなど23以上のAIプロバイダーへのアクセスを単一のOpenAI互換APIで統一することを目的とした高性能AIゲートウェイです。Redisの必要性を排除し、BunとPostgreSQL 18を活用することで、セマンティックキャッシュ、O(1)請求、自動パーティション分割、自動フェイルオーバーなどの機能を提供します。ベンチマークでは、5k RPSでリクエストあたりのオーバーヘッドはわずか11μs、成功率100％、サブマイクロ秒のキュー待機時間を達成しています。 デプロイメントはシンプルで、NPXまたはDocker経由でローカルに1分以内に起動でき、埋め込みWeb UIを通じて設定できます。OpenAI、Anthropic、Google GenAI向けのドロップインSDK置換をサポートし、URLの変更のみで導入可能です。高度な機能としては、外部ツール統合のためのModel Context Protocol（MCP）、マルチモーダル対応（テキスト、画像、オーディオ）、カスタムプラグイン、仮想キーによるガバナンス、予算管理、OIDCユーザー管理、Prometheusおよび分散トレーシングによる観測性が含まれます。 アーキテクチャはモジュール化されており、プロバイダー、設定ストレージ、HTTPトランスポート、UI、拡張可能なプラグインのコンポーネントで構成されています。エンタープライズデプロイメントでは、クラスタリング、適応型ロードバランシング、ガードレール、シークレット管理が利用可能です。ドキュメントにはセットアップ方法、LangChainやLiteLLMとの統合、パフォーマンスベンチマーク、コントリビューションガイドラインが含まれています。Apache 2.0ライセンスの下でMaximによって構築されました。