obey-api-gateway

OBEY API Gatewayは、アプリケーションと複数のAIプロバイダの間に配置するために設計された、高性能なシングルバイナリのAIゲートウェイです。OpenAI APIのドロップイン置き換えとして機能し、既存のSDKをゲートウェイに向けるだけで、アプリケーションコードを変更することなく高度なルーティングと信頼性機能を利用できます。 主な機能: - **マルチプロバイダサポート**: OpenAI、Ollama、AWS Bedrock、Groq、Together AI、NVIDIA NIM、vLLM、LM Studioと互換性があります。 - **信頼性とルーティング**: サーキットブレーカーによる自動フェイルオーバー、指数関数的バックオフ、リトライ後のヘッダーを尊重するスマートレート制限対応。優先度、コスト意識、複雑度認識型ルーティングをサポートします。 - **高度なAI機能**: - **レスポンスキャッシング**: メモリ内の完全一致ティアとQdrantを介したオプションのセマンティックティアからなるツォーキャッシング。 - **トークン管理**: 9つのトークン圧縮戦略とツール定義圧縮用の12段階パイプラインを備えています。 - **ガードレール**: PII除去、正規表現スキャン、モデレーションを含むコール前後のポリシー実行。 - **エージェントループ検出**: 反復的なエージェント動作を検出し、警告とレート制限レベルでエスカレートします。 - **OpenAI統合**: ChatGPT Plus/ProサブスクリプションのOpenAI OAuthログインとネイティブ/v1/responsesエンドポイントをサポートします。 - **開発者ツール**: ビルトイン管理パネル/ダッシュボード、Prometheusメトリクス、SQLiteベースの構造化ログ、および呼び出し元ごとの予算管理とレート制限のための仮想キー管理が含まれます。 - **デプロイメント**: Windowsインストーラ、Dockerイメージ、またはRustを使用してソースからビルド可能です。