ai-gateway

AI Gatewayは、OpenAIのインターフェースと互換性を持つように設計された、軽量でセルフホスト可能なAPIゲートウェイです。ユーザーはアプリケーションで使用される特定のモデル名にマッピングされたルートを定義でき、設定されたプロバイダーに順次リクエストを試行し、成功するまで継続します。これにより、レート制限や停止による失敗を軽減できます。Dockerデプロイメント、systemdサービス、およびローカルバイナリビルドをサポートしています。設定は環境変数置換を伴うYAMLで管理され、柔軟なプロバイダー設定（例：Cerebras、OpenRouter）やルートごとのタイムアウト設定が可能です。互換性の修正（tool_choiceの緩和やJSONスキーマの注入など）のためのリクエストアダプター、一時的なエラー時のエンドポイントローテーション、および診断エンドポイントが含まれています。認証にはAPIキーを使用し、OTLP/HTTP経由のテレメトリはオプションです。セキュリティのデフォルト設定には、非ルート実行とログの秘匿化が含まれています。n8nのようなアプリにLLMを統合しつつ、プロバイダーのフォールバックに対する回復力と制御を維持したい開発者に最適です。