প্রকল্প সম্পর্কে

Higress হল Istio এবং Envoy-এর উপর নির্মিত একটি ক্লাউড-নেটিভ API গেটওয়ে, যা AI-নেটিভ গেটওয়ে হিসেবে ডিজাইন করা হয়েছে যা LLM API ম্যানেজমেন্ট, MCP (মডেল কনটেক্সট প্রোটোকল) সার্ভার হোস্টিং এবং ঐতিহ্যবাহী API গেটওয়ে ফাংশনগুলিকে একীভূত করে। এটি আলিবাবায় উদ্ভূত হয়েছে গেটওয়ে রিলোডের সময় দীর্ঘ-সংযোগ বিঘ্ন মোকাবেলা করতে এবং gRPC/Dubbo লোড ব্যালেন্সিং উন্নত করতে, এবং এখন এটি একটি ভেন্ডর-নিরপেক্ষ CNCF স্যান্ডবক্স প্রকল্প হিসেবে বিকশিত হচ্ছে। মূল ক্ষমতাগুলির মধ্যে রয়েছে: (1) AI গেটওয়ে — একটি ইউনিফাইড প্রোটোকলের মাধ্যমে সমস্ত মূলধারার LLM মডেল প্রোভাইডারদের সাথে সংযোগ স্থাপন করে, AI পর্যবেক্ষণযোগ্যতা, মাল্টি-মডেল লোড ব্যালেন্সিং, টোকেন রেট লিমিটিং এবং ক্যাশিং সহ; (2) MCP সার্ভার হোস্টিং — এর প্লাগইন প্রক্রিয়ার মাধ্যমে MCP সার্ভার হোস্ট করে, যা AI এজেন্টদের টুল এবং পরিষেবা কল করতে সক্ষম করে ইউনিফাইড অথেনটিকেশন, সূক্ষ্ম-দানাদার রেট লিমিটিং, অডিট লগ এবং সংযোগ বিচ্ছিন্ন ছাড়াই গতিশীল আপডেট সহ; (3) Kubernetes ইনগ্রেস কন্ট্রোলার — অফিসিয়াল Kubernetes ডকুমেন্টেশনে তালিকাভুক্ত, NGINX ইনগ্রেস অ্যানোটেশনগুলির সাথে সামঞ্জস্যপূর্ণ, Gateway API স্ট্যান্ডার্ড সমর্থন করে এবং ingress-nginx-এর তুলনায় রিসোর্স ওভারহেড হ্রাস করে; (4) মাইক্রোসার্ভিস গেটওয়ে — Nacos, ZooKeeper, Consul, Eureka থেকে পরিষেবা আবিষ্কার করে এবং Dubbo, Nacos এবং Sentinel-এর সাথে একীভূত হয়; (5) সিকিউরিটি গেটওয়ে — WAF, key-auth, hmac-auth, jwt-auth, basic-auth এবং OIDC সমর্থন করে। মূল প্রযুক্তিগত সুবিধা: প্রোডাকশন-গ্রেড, আলিবাবায় 2 বছরেরও বেশি সময় ধরে বৈধতা প্রাপ্ত যা প্রতি সেকেন্ডে শত শত হাজার অনুরোধ সমর্থন করে; AI ওয়ার্কলোডের জন্য SSE সহ অনুরোধ/প্রতিক্রিয়া বডির সত্যিকারের স্ট্রিমিং প্রক্রিয়াকরণ; Go/Rust/JS-এ Wasm প্লাগইন সম্প্রসারণযোগ্যতা স্যান্ডবক্স আইসোলেশন এবং ট্রাফিক-লসলেস হট আপডেট সহ; আউট-অফ-দ্য-বক্স UI কনসোল; স্বয়ংক্রিয় সার্টিফিকেট ম্যানেজমেন্টের জন্য Let's Encrypt ইন্টিগ্রেশন; এবং পৃথক ডেভেলপারদের জন্য একক-ডকার-কমান্ড ডিপ্লয়মেন্ট। ইনস্টলেশন সহজবোধ্য — ডকারের মাধ্যমে (UI-এর জন্য পোর্ট 8001, HTTP-এর জন্য 8080, HTTPS-এর জন্য 8443) বা Kubernetes-এ Helm-এর মাধ্যমে কনফিগারযোগ্য আঞ্চলিক রেজিস্ট্রি মিরর সহ। প্রকল্পটি AI, ট্রাফিক ম্যানেজমেন্ট এবং সিকিউরিটি কভার করে একটি সমৃদ্ধ অফিসিয়াল প্লাগইন লাইব্রেরি প্রদান করে, যা 90% এরও বেশি ব্যবসায়িক পরিস্থিতির প্রয়োজনীয়তা পূরণ করে। সম্পর্কিত রিপোজিটরিগুলির মধ্যে রয়েছে Higress Console, Higress Standalone, Plugin Server এবং Wasm Plugin Golang SDK।