このプロジェクトについて
OpenProxyは、OpenAIやAnthropicなどの複数のAIプロバイダーに対するAPIプロキシとして機能する自己ホスト型のサービスです。OpenAIの`/v1/chat/completions`およびAnthropicの`/v1/messages`エンドポイントと互換性のある統一APIインターフェースを公開します。
このシステムは、重み付きロードバランシングによるマルチプロバイダーフェイルオーバーと、失敗時の自動フォールバックをサポートしています。レート制限を回避するために、直近で使用されたキー組み合わせを優先度を下げることで、プロバイダーごとのマルチキーローテーションを実現します。
管理者は、クォータ、有効期限、モデルアクセス制御を備えたAPIキーを管理できます。使用量は、コスト、応答時間、プロバイダーの属天性を含めてリクエストごとに追跡されます。
Webベースの管理パネルにより、モデル、プロバイダー、ユーザー、注文の管理が可能で、テナントは使用量グラフ、残高、リクエスト履歴を表示するダッシュボードを取得します。プロバイダーのAPIキーはRSAを使用して暗号化して保存されます。
認証オプションには、better-auth経由のメールアドレス/パスワード、電話OTP、GitHub、Googleが用意されています。使用方法としては、Bearerトークン付きで標準的なOpenAIスタイルのリクエストをプロキシエンドポイントに送信することになります。MITライセンスです。
Comments
0 Rating appears after 10 ratings
Sign in to join the discussion.