منصوبے کے بارے میں

Higress ایک کلاؤڈ-نیٹو API گیٹ وے ہے جو Istio اور Envoy پر بنایا گیا ہے، جسے AI-نیٹو گیٹ وے کے طور پر ڈیزائن کیا گیا ہے جو LLM API مینجمنٹ، MCP (Model Context Protocol) سرور ہوسٹنگ، اور روایتی API گیٹ وے افعال کو یکجا کرتا ہے۔ یہ Alibaba میں شروع ہوا تاکہ گیٹ وے ری لوڈ کے دوران طویل کنکشن میں رکاوٹ کو حل کیا جا سکے اور gRPC/Dubbo لوڈ بیلنسنگ کو بہتر بنایا جا سکے، اور اب یہ وینڈر-نیوٹرل CNCF سینڈ باکس پروجیکٹ کے طور پر تیار کیا جا رہا ہے۔ بنیادی صلاحیتوں میں شامل ہیں: (1) AI گیٹ وے — AI آبزرویبلٹی، ملٹی-ماڈل لوڈ بیلنسنگ، ٹوکن ریٹ لیمٹنگ، اور کیشنگ کے ساتھ متحد پروٹوکول کے ذریعے تمام مرکزی دھارے کے LLM ماڈل فراہم کنندگان سے جڑتا ہے؛ (2) MCP سرور ہوسٹنگ — اپنے پلگ ان میکانزم کے ذریعے MCP سرورز کی میزبانی کرتا ہے، جس سے AI ایجنٹس ٹولز اور سروسز کو متحد تصدیق، باریک ریٹ لیمٹنگ، آڈٹ لاگز، اور بغیر کنکشن ڈراپ کے متحرک اپ ڈیٹس کے ساتھ کال کر سکتے ہیں؛ (3) Kubernetes Ingress کنٹرولر — سرکاری Kubernetes دستاویزات میں درج، NGINX Ingress تشریحات کے ساتھ مطابقت رکھتا ہے، Gateway API معیار کی حمایت کرتا ہے، اور ingress-nginx کے مقابلے میں وسائل کا اوور ہیڈ کم کرتا ہے؛ (4) مائیکرو سروس گیٹ وے — Nacos، ZooKeeper، Consul، Eureka سے سروسز دریافت کرتا ہے، اور Dubbo، Nacos، اور Sentinel کے ساتھ مربوط ہوتا ہے؛ (5) سیکیورٹی گیٹ وے — WAF، key-auth، hmac-auth، jwt-auth، basic-auth، اور OIDC کی حمایت کرتا ہے۔ اہم تکنیکی فوائد: پروڈکشن-گریڈ جس کی Alibaba میں 2 سال سے زیادہ کی توثیق ہے جو فی سیکنڈ لاکھوں درخواستوں کی حمایت کرتا ہے؛ AI ورک لوڈز کے لیے SSE سمیت درخواست/جواب باڈیز کی حقیقی اسٹریمنگ پروسیسنگ؛ Go/Rust/JS میں Wasm پلگ ان توسیع سینڈ باکس آئسولیشن اور ٹریفک-لاس لیس ہاٹ اپ ڈیٹس کے ساتھ؛ آؤٹ-آف-دی-باکس UI کنسول؛ خودکار سرٹیفکیٹ مینجمنٹ کے لیے Let's Encrypt انٹیگریشن؛ اور انفرادی ڈویلپرز کے لیے سنگل-Docker-کمانڈ ڈیپلائمنٹ۔ تنصیب Docker کے ذریعے سیدھی ہے (UI کے لیے پورٹ 8001، HTTP کے لیے 8080، HTTPS کے لیے 8443) یا Kubernetes پر Helm کے ساتھ قابل ترتیب علاقائی رجسٹری مررز کے ساتھ۔ پروجیکٹ ایک بھرپور سرکاری پلگ ان لائبریری فراہم کرتا ہے جو AI، ٹریفک مینجمنٹ، اور سیکیورٹی کا احاطہ کرتی ہے، جو 90% سے زیادہ کاروباری منظر نامے کی ضروریات کو پورا کرتی ہے۔ متعلقہ ریپوزٹریز میں Higress Console، Higress Standalone، Plugin Server، اور Wasm Plugin Golang SDK شامل ہیں۔