ai-gateway

AI Gatewayは、生産環境におけるLLM使用を最適化するために設計されたインテリジェントなルーティングインフラです。意図分类、コスト効率、リアルタイムのプロバイダヘルス指標に基づいて、各リクエストを最も適切なモデルに動的にルーティングします。シンプルなクエリには安価なモデルを割り当てることで過剰な支払いを防ぎ、複雑なタスクには強力な推論モデルを確保します。Node.jsとExpressで構築され、GroqやGoogle Geminiなどのプロバイダと統合し、意図検出にはローカルのBGEエンベディングまたはホスト型代替手段を使用します。主な機能には、日次クォータ付きマルチテナントAPIキー管理、二層キャッシング（正確一致＋意味的）、プロバイダ間の自動フェイルオーバー、安価モデルから推論モデルへの信頼度に基づくエスカレーションが含まれます。ヘルスaware選択ではWelfordのアルゴリズムを用いてモデルごとのレイテンシと失敗率を追跡し、動的な再ルーティングを可能にします。Adminエンドポイントによるキャッシュヒット率、レイテンシ、テナント別使用状況など、観測性も内蔵されています。永続化とキャッシングにはRedisが使用され、開発ではインメモリフォールバックが提供されます。アーキテクチャはモジュール化され、テスト可能で、Koyeb上のUpstash Redisなどでデプロイ可能です。チャットボットや単一モデルラッパーではなく、信頼性を高め、コストを削減し、AIモデル運用への完全な可視性を提供するコントロールプレーンとして機能します。複数のLLMを管理するチーム向けに、カスタムインフラを構築せずにインテリジェントルーティング、レジリエンス、テナントレベルの制御が必要とする場合に理想的です。