higress

HigressはIstioとEnvoy上に構築されたクラウドネイティブAPIゲートウェイであり、LLM API管理、MCP（Model Context Protocol）サーバーホスティング、従来のAPIゲートウェイ機能を統合するAIネイティブゲートウェイとして設計されています。Alibabaでゲートウェイリロード時の長接続切断問題への対処とgRPC/Dubboロードバランシングの改善を目的に生まれ、現在はベンダーニュートラルなCNCF Sandboxプロジェクトとして開発されています。 主要機能は次のとおりです。(1) AI Gateway — 統一プロトコルで主要なLLMモデルプロバイダーすべてに接続し、AIオブザーバビリティ、マルチモデルロードバランシング、トークンレート制限、キャッシュを提供。(2) MCP Server Hosting — プラグイン機構を通じてMCP Serverをホストし、AI Agentがツールやサービスを呼び出せるようにし、統一認証、きめ細かなレート制限、監査ログ、接続切断なしの動的更新を実現。(3) Kubernetes Ingress Controller — Kubernetes公式ドキュメントに掲載され、NGINX Ingressアノテーションと互換、Gateway API標準をサポートし、ingress-nginxと比較してリソースオーバーヘッドを削減。(4) マイクロサービスゲートウェイ — Nacos、ZooKeeper、Consul、Eurekaからサービスを検出し、Dubbo、Nacos、Sentinelと統合。(5) セキュリティゲートウェイ — WAF、key-auth、hmac-auth、jwt-auth、basic-auth、OIDCをサポート。 主要な技術的優位性：Alibabaで2年以上にわたり毎秒数十万リクエストを支える実運用検証済み。AIワークロード向けのSSEを含むリクエスト/レスポンスボディの真のストリーミング処理。Go/Rust/JSによるWasmプラグイン拡張、サンドボックス分離、トラフィックロスのないホットアップデート。すぐに使えるUIコンソール。Let's Encrypt統合による自動証明書管理。個人開発者向けの単一Dockerコマンドデプロイ。 インストールはDocker（UI用ポート8001、HTTP用8080、HTTPS用8443）またはKubernetes上のHelmで簡単に行え、地域別レジストリミラーを設定可能です。プロジェクトはAI、トラフィック管理、セキュリティを網羅する豊富な公式プラグインライブラリを提供し、ビジネスシリオ要件の90%以上を満たします。関連リポジトリにはHigress Console、Higress Standalone、Plugin Server、Wasm Plugin Golang SDKがあります。