bifrost

Bifrostは、OpenAI、Anthropic、AWS Bedrock、Google Vertex、Azure、Cerebras、Cohere、Mistral、Ollama、Groqなど、多くのモデルプロバイダーの前面に単一のOpenAI互換APIを提供するAIゲートウェイです。npxまたはDockerを使用してローカルで起動でき、組み込みのWebインターフェース、API、または設定ファイルを通じて構成できます。 READMEに記載されている中核機能は以下の通りです： - 統合インターフェース：サポートされているすべてのプロバイダー向けの単一のOpenAI互換エンドポイント。 - 信頼性：プロバイダーとモデル間の自動フォールバック、およびAPIキーとプロバイダー間の負荷分散。 - Model Context Protocol (MCP)：モデルがファイルシステム、ウェブ検索、データベースなどの外部ツールを呼び出せるようにします。 - セマンティックキャッシュ：セマンティック類似性に基づいて応答をキャッシュし、コストとレイテンシを削減します。 - 共通インターフェースの背後でのマルチモーダルおよびストリーミングサポート。 - ガバナンス：仮想キー、使用状況追跡、レート制限、チームおよび顧客向けの階層的予算管理。 - 可観測性：Prometheusメトリクス、分散トレーシング、リクエストロギング。 - ガバナンス、JSON解析、ロギング、セマンティックキャッシュ、テレメトリ、モッキング、Maxim可観測性統合のためのモジュールを備えたプラグインシステム。 - クラスタリング、カスタムプラグイン、OIDCユーザープロビジョニング、シークレット管理などのエンタープライズ機能。 デプロイオプションには、HTTPゲートウェイ（npxまたはDocker）、組み込み使用のためのGo SDK、およびコード変更なしでOpenAI、Anthropic、Google GenAIのベースURLをドロップイン置換する機能が含まれます。リポジトリは、core、framework、transports、ui、plugins、docs、testsディレクトリに編成されています。 READMEは、毎秒5,000リクエストでのベンチマーク結果を報告し、低い追加レイテンシと100%の成功率を主張しており、完全なベンチマークドキュメントへのリンクがあります。このプロジェクトはApache 2.0ライセンスの下で提供されています。