このプロジェクトについて
このNode.jsベースのプロキシレイヤーは、OpenAI互換インターフェース(/v1/chat/completions)を使用して、AIモデルのリクエストを複数のプロバイダ間でルーティングできるように設計されています。AIデプロイメントの信頼性と柔軟性を確保することを目的としています。
主要な機能は以下の通りです:
- マルチプロバイダフォールバック:定義された優先度に基づき、同一モデルのリクエストを複数のプロバイダにルーティング。
- ヘルス対応ルーティング:リアルタイムでプロバイダの健全性を監視し、自動的なフォールバックと復旧プロセスを自動化。
- 安全な設定:環境変数経由でのAPIキー注入をサポートし、機密情報のハードコーディングを防ぎます。
- モデルマッピング:YAML設定ファイルを使用して、特定のモデルを各種プロバイダエンドポイントおよびAPIキーにマップ。
- ローカルAdmin UI:モデルとプロバイダのマッピング管理用の軽量オプションパネルを搭載。
- エッジ対応設計:Cloudflare WorkersやVercel Edgeなどのエッジプラットフォームへの移行を前提としたアーキテクチャ。
Comments
0 Rating appears after 10 ratings
Sign in to join the discussion.