オープンソース。新しい可能性。

gatewayはOpenAI用の軽量ヘッドレスAIゲートウェイツール。マルチユーザー認証、PII削除、使用量ログ、リアルタイムコスト追跡、レート制限をサポートし、単一の実行可能ファイルで配布される。

Apache APISIXは、NGINXとetcd上に構築された動的・リアルタイム・高性能なクラウドネイティブAPIおよびAIゲートウェイであり、動的ルーティング、プラグインのホットロード、マルチプロトコル対応、LLMワークロード向けのAIプロキシを提供します。