higress

Higress est une passerelle API cloud-native construite sur Istio et Envoy, conçue comme une passerelle IA-native qui unifie la gestion des API LLM, l'hébergement de serveurs MCP (Model Context Protocol) et les fonctions traditionnelles de passerelle API. Elle est née chez Alibaba pour résoudre les interruptions de connexions longues lors des rechargements de passerelle et améliorer l'équilibrage de charge gRPC/Dubbo, et est désormais développée comme un projet CNCF Sandbox neutre vis-à-vis des fournisseurs. Les capacités principales incluent : (1) Passerelle IA — se connecte à tous les principaux fournisseurs de modèles LLM via un protocole unifié avec observabilité IA, équilibrage de charge multi-modèles, limitation de débit par jeton et mise en cache ; (2) Hébergement de serveurs MCP — héberge des serveurs MCP via son mécanisme de plugins, permettant aux agents IA d'appeler des outils et services avec authentification unifiée, limitation de débit fine, journaux d'audit et mises à jour dynamiques sans interruption de connexion ; (3) Contrôleur d'ingress Kubernetes — répertorié dans la documentation officielle de Kubernetes, compatible avec les annotations NGINX Ingress, prend en charge la norme Gateway API et réduit la surcharge de ressources par rapport à ingress-nginx ; (4) Passerelle microservices — découvre les services depuis Nacos, ZooKeeper, Consul, Eureka, et s'intègre avec Dubbo, Nacos et Sentinel ; (5) Passerelle de sécurité — prend en charge WAF, key-auth, hmac-auth, jwt-auth, basic-auth et OIDC. Principaux avantages techniques : niveau production avec plus de 2 ans de validation chez Alibaba prenant en charge des centaines de milliers de requêtes par seconde ; traitement véritablement en streaming des corps de requêtes/réponses, y compris SSE pour les charges de travail IA ; extensibilité via plugins Wasm en Go/Rust/JS avec isolation par sandbox et mises à jour à chaud sans perte de trafic ; console UI prête à l'emploi ; intégration Let's Encrypt pour la gestion automatique des certificats ; et déploiement en une seule commande Docker pour les développeurs individuels. L'installation est simple via Docker (ports 8001 pour l'UI, 8080 pour HTTP, 8443 pour HTTPS) ou Helm sur Kubernetes avec des miroirs de registre régionaux configurables. Le projet fournit une riche bibliothèque officielle de plugins couvrant l'IA, la gestion du trafic et la sécurité, répondant à plus de 90 % des exigences des scénarios métier. Les dépôts associés incluent Higress Console, Higress Standalone, Plugin Server et Wasm Plugin Golang SDK.