इस प्रोजेक्ट के बारे में

Higress एक क्लाउड-नेटिव API गेटवे है जो Istio और Envoy पर आधारित है, जिसे AI-नेटिव गेटवे के रूप में डिज़ाइन किया गया है जो LLM API प्रबंधन, MCP (Model Context Protocol) सर्वर होस्टिंग और पारंपरिक API गेटवे कार्यों को एकीकृत करता है। इसकी उत्पत्ति Alibaba में हुई थी ताकि गेटवे रीलोड के दौरान लॉन्ग-कनेक्शन व्यवधान को हल किया जा सके और gRPC/Dubbo लोड बैलेंसिंग में सुधार किया जा सके, और अब इसे वेंडर-न्यूट्रल CNCF Sandbox प्रोजेक्ट के रूप में विकसित किया जा रहा है। मुख्य क्षमताओं में शामिल हैं: (1) AI Gateway — AI ऑब्ज़र्वेबिलिटी, मल्टी-मॉडल लोड बैलेंसिंग, टोकन रेट लिमिटिंग और कैशिंग के साथ एक एकीकृत प्रोटोकॉल के माध्यम से सभी प्रमुख LLM मॉडल प्रदाताओं से जुड़ता है; (2) MCP Server Hosting — अपने प्लगइन मेकैनिज़्म के माध्यम से MCP सर्वर होस्ट करता है, जिससे AI Agents एकीकृत प्रमाणीकरण, फाइन-ग्रेन्ड रेट लिमिटिंग, ऑडिट लॉग और कनेक्शन ड्रॉप के बिना डायनामिक अपडेट के साथ टूल्स और सेवाओं को कॉल कर सकते हैं; (3) Kubernetes Ingress Controller — आधिकारिक Kubernetes दस्तावेज़ में सूचीबद्ध, NGINX Ingress एनोटेशन के साथ संगत, Gateway API मानक का समर्थन करता है, और ingress-nginx की तुलना में संसाधन ओवरहेड कम करता है; (4) Microservice Gateway — Nacos, ZooKeeper, Consul, Eureka से सेवाओं की खोज करता है, और Dubbo, Nacos और Sentinel के साथ एकीकृत होता है; (5) Security Gateway — WAF, key-auth, hmac-auth, jwt-auth, basic-auth और OIDC का समर्थन करता है। मुख्य तकनीकी लाभ: Alibaba में 2 वर्ष से अधिक के सत्यापन के साथ प्रोडक्शन-ग्रेड, जो प्रति सेकंड सैकड़ों हजारों अनुरोधों का समर्थन करता है; AI वर्कलोड के लिए SSE सहित अनुरोध/प्रतिक्रिया बॉडी की वास्तविक स्ट्रीमिंग प्रोसेसिंग; Go/Rust/JS में Wasm प्लगइन एक्सटेंसिबिलिटी, सैंडबॉक्स आइसोलेशन और ट्रैफिक-लॉसलेस हॉट अपडेट के साथ; आउट-ऑफ-द-बॉक्स UI कंसोल; स्वचालित प्रमाणपत्र प्रबंधन के लिए Let's Encrypt एकीकरण; और व्यक्तिगत डेवलपर्स के लिए सिंगल-Docker-कमांड डिप्लॉयमेंट। इंस्टॉलेशन Docker (UI के लिए पोर्ट 8001, HTTP के लिए 8080, HTTPS के लिए 8443) या Kubernetes पर Helm के माध्यम से कॉन्फ़िगर करने योग्य क्षेत्रीय रजिस्ट्री मिरर के साथ सीधा है। प्रोजेक्ट AI, ट्रैफिक प्रबंधन और सुरक्षा को कवर करने वाली एक समृद्ध आधिकारिक प्लगइन लाइब्रेरी प्रदान करता है, जो 90% से अधिक व्यावसायिक परिदृश्य आवश्यकताओं को पूरा करती है। संबंधित रिपॉजिटरी में Higress Console, Higress Standalone, Plugin Server और Wasm Plugin Golang SDK शामिल हैं।