اوپن سورس۔ نئے امکانات۔

AWS پر مکمل طور پر سرورلیس کلک سٹریم ڈیٹا پیپ لائن جو API Gateway، Kinesis، Firehose، Lambda اور Athena کا استعمال کرتے ہوئے کلک ایونٹس کو پروسیس کر کے Parquet فارمیٹ میں ذخیرہ کرتی ہے۔

Apache APISIX ایک متحرک، ریئل ٹائم، اعلیٰ کارکردگی والا کلاؤڈ نیٹیو API اور AI گیٹ وے ہے جو NGINX اور etcd پر مبنی ہے، جس میں ڈائنامک روٹنگ، پلگ ان ہاٹ لوڈنگ، ملٹی پروٹوکول سپورٹ، اور LLM ورک لوڈز کے لیے AI پراکسی شامل ہیں۔

llm-apipool 40+ مفت LLM APIs کو ایک OpenAI-compatible اینڈ پوائنٹ میں یکجا کرتا ہے۔ یہ خودکار کلیدوں کی گردش، ریٹ لمٹس کا انتظام، استعمال کی نگرانی کرتا ہے، اور CLI، TUI، proxy، اور LangChain integration کی حمایت کرتا ہے۔

XTokenHub ایک سیلف ہوسڈ AI API گیٹ وے ہے جو اپ اسٹریم LLM فراہم کنندگان کی کلیدوں کو چینلز میں جمع کرتا ہے، یکجا OpenAI اور Anthropic اینڈ پوائنٹس کو خودکار پروٹوکول تبدیلی کے ساتھ فراہم کرتا ہے، اور لائیو ٹوکن استعمال، کیچ ہٹ ریٹ، اور فی کلید شماریات کی نگرانی کرتا ہے۔ Go + React کے ساتھ ایک بائنری میں شائع ہوتا ہے۔

ٹوکن اسٹیشن اے آئی ایجنٹس اور LLM فراہم کنندگان کے لیے مقامی روٹنگ گیٹ وے ہے۔ یہ صرف لوپ بیک کے ذریعے Claude Code، Cursor، Codex، Gemini CLI اور دوسرے ٹولز کو روٹ کرتا ہے، جس میں اسمارٹ ٹئیر سلیکشن، کوٹا آگاہ روٹنگ اور استعمال کی ٹریکنگ کی سہولیات موجود ہیں۔

Inja LLM Gateway ایک بے حالت API گیٹ وے ہے جو OpenAI، Anthropic اور Gemini کی درخواستوں کو متعدد فراہم کنندگان پر روٹ کرتا ہے، کراس ڈائیلیکٹ ترجمہ، استعمال کی پیمائش اور سنگل بائنری ڈیپلائمنٹ کے ساتھ۔

Higress ایک کلاؤڈ-نیٹو AI-نیٹو API گیٹ وے ہے جو Istio اور Envoy پر بنایا گیا ہے، جس میں Wasm پلگ ان توسیع، متحد LLM فراہم کنندہ رسائی، MCP سرور ہوسٹنگ، اور Kubernetes ingress سپورٹ شامل ہے۔

One API ایک یونائفائیڈ LLM API مینجمنٹ اور تقسیم سسٹم ہے جو OpenAI، Azure، Anthropic Claude، Google Gemini، DeepSeek سمیت درجنوں مقبول ماڈلز کی حمایت کرتا ہے، یکساں OpenAI فارمیٹ انٹرفیس، ٹوکن مینجمنٹ، چैनل لوڈ بیلنسنگ، صارف گروپنگ اور ثانوی تقسیم کی خصوصیات فراہم کرتا ہے۔

کانگ گیٹ وے ایک کلاؤڈ نیٹیو، پلیٹ فارم ایجنوسٹک اور پیمانے پر قابل API، LLM اور MCP گیٹ وے ہے جو پراکسی، راؤٹنگ، لوڈ بالینسنگ، ہیلتھ چیکنگ اور تصدیق کو یکجا کرتا ہے۔