اوپن سورس۔ نئے امکانات۔

AWS پر مکمل طور پر سرورلیس کلک سٹریم ڈیٹا پیپ لائن جو API Gateway، Kinesis، Firehose، Lambda اور Athena کا استعمال کرتے ہوئے کلک ایونٹس کو پروسیس کر کے Parquet فارمیٹ میں ذخیرہ کرتی ہے۔

Apache APISIX ایک متحرک، ریئل ٹائم، اعلیٰ کارکردگی والا کلاؤڈ نیٹیو API اور AI گیٹ وے ہے جو NGINX اور etcd پر مبنی ہے، جس میں ڈائنامک روٹنگ، پلگ ان ہاٹ لوڈنگ، ملٹی پروٹوکول سپورٹ، اور LLM ورک لوڈز کے لیے AI پراکسی شامل ہیں۔

مقامی اور دور دراز LLMs کے لیے متحدہ API گیٹ وے، جو OpenAI‑مطابق اینڈ پوائنٹ فراہم کرتا ہے تاکہ درخواستیں OpenAI، Anthropic، Gemini اور Ollama جیسے فراہم کنندگان کے درمیان روٹ کی جا سکیں۔

صرف SQLite کا استعمال کرتے ہوئے کریڈنشل پولنگ، فیل اوور، اور خودکار نئی API چینل کی تال میل کے ساتھ ایک ہلکا پھلکا OpenAI/Anthropic ریلے گیٹ وے۔

llm-apipool 40+ مفت LLM APIs کو ایک OpenAI-compatible اینڈ پوائنٹ میں یکجا کرتا ہے۔ یہ خودکار کلیدوں کی گردش، ریٹ لمٹس کا انتظام، استعمال کی نگرانی کرتا ہے، اور CLI، TUI، proxy، اور LangChain integration کی حمایت کرتا ہے۔

ایک ہلکا پھلکا OpenAI API ریورس پراکسی جس میں فی-کی ٹوکن بجٹ، ریٹ لمٹینگ، کاسٹ ڈیش بورڈز اور خودکار ماڈل ڈاؤن گریڈنگ کی خصوصیات موجود ہیں۔

CogniGate ایک سیلف ہوسٹڈ، ملٹی ٹیننٹ LLM گیٹ وے ہے جو متعدد ماڈل فراہم کنندگان کے انتظام کے لیے ایک واحد OpenAI ہم آہنگ اینڈ پوائنٹ فراہم کرتا ہے جبکہ کریڈنشلز کو محفوظ رکھتا ہے۔

XTokenHub ایک سیلف ہوسڈ AI API گیٹ وے ہے جو اپ اسٹریم LLM فراہم کنندگان کی کلیدوں کو چینلز میں جمع کرتا ہے، یکجا OpenAI اور Anthropic اینڈ پوائنٹس کو خودکار پروٹوکول تبدیلی کے ساتھ فراہم کرتا ہے، اور لائیو ٹوکن استعمال، کیچ ہٹ ریٹ، اور فی کلید شماریات کی نگرانی کرتا ہے۔ Go + React کے ساتھ ایک بائنری میں شائع ہوتا ہے۔

SafeLine ایک خود-ہوسٹڈ ویب ایپلیکیشن فائر وال اور ریورس پراکسی ہے جو ویب ایپس کے سامنے رکھی جاتی ہے تاکہ نقصان دہ HTTP/S ٹریفک کو فلٹر اور بلاک کیا جا سکے۔ یہ ریٹ لمیٹنگ، بوٹ اور تصدیق چیلنجز، ڈائنامک HTML/JS انکرپشن، اور ایکسیس کنٹرول لسٹس پیش کرتی ہے۔

LLM routing، ری ٹرائیز، فال بیکس، اسٹرکچرڈ آؤٹ پٹ، اور استعمال/لاگت کے حساب کتاب کے لیے ایک پرووائیڈر نیوٹرل FastAPI گیٹ وے ہے۔ یہ ماڈل ایلیئز، ری ٹرائی پالیسیز، اور مستقل استعمال کی ٹریکنگ کے ساتھ Gemini اور OpenAI کو سپورٹ کرتا ہے۔

ٹوکن اسٹیشن اے آئی ایجنٹس اور LLM فراہم کنندگان کے لیے مقامی روٹنگ گیٹ وے ہے۔ یہ صرف لوپ بیک کے ذریعے Claude Code، Cursor، Codex، Gemini CLI اور دوسرے ٹولز کو روٹ کرتا ہے، جس میں اسمارٹ ٹئیر سلیکشن، کوٹا آگاہ روٹنگ اور استعمال کی ٹریکنگ کی سہولیات موجود ہیں۔

Inja LLM Gateway ایک بے حالت API گیٹ وے ہے جو OpenAI، Anthropic اور Gemini کی درخواستوں کو متعدد فراہم کنندگان پر روٹ کرتا ہے، کراس ڈائیلیکٹ ترجمہ، استعمال کی پیمائش اور سنگل بائنری ڈیپلائمنٹ کے ساتھ۔

ایک Python لائبریری جو کبھی کسی ڈپینڈنسی کی ضرورت نہیں ہوتی، مختلف LLM API کو OpenAI‑مطابق چاٹ کمپلیشن فارمیٹ میں تبدیل کرتی ہے اور فراہم کنندگان کے درمیان خودکار فائل오ور (failover) فراہم کرتی ہے۔

Higress ایک کلاؤڈ-نیٹو AI-نیٹو API گیٹ وے ہے جو Istio اور Envoy پر بنایا گیا ہے، جس میں Wasm پلگ ان توسیع، متحد LLM فراہم کنندہ رسائی، MCP سرور ہوسٹنگ، اور Kubernetes ingress سپورٹ شامل ہے۔

One API ایک یونائفائیڈ LLM API مینجمنٹ اور تقسیم سسٹم ہے جو OpenAI، Azure، Anthropic Claude، Google Gemini، DeepSeek سمیت درجنوں مقبول ماڈلز کی حمایت کرتا ہے، یکساں OpenAI فارمیٹ انٹرفیس، ٹوکن مینجمنٹ، چैनل لوڈ بیلنسنگ، صارف گروپنگ اور ثانوی تقسیم کی خصوصیات فراہم کرتا ہے۔

DeepSeek Router Claude Code کے لیے ہائی ایوریبلٹی پراکسی ہے جو پانچ چینی AI فراہم کنندگان سے درخواستوں کو راؤٹ کرتا ہے۔ اس میں خودکار فیْل اوور، سرکٹ بریکنگ، اور زیرو ڈاؤن ٹائم ری لوڈنگ شامل ہیں۔ یہ Anthropic Messages API کے لیے ڈراپ ان متبادل ہے اور لاگت میں 7-34 گنا سستا ہے۔

کانگ گیٹ وے ایک کلاؤڈ نیٹیو، پلیٹ فارم ایجنوسٹک اور پیمانے پر قابل API، LLM اور MCP گیٹ وے ہے جو پراکسی، راؤٹنگ، لوڈ بالینسنگ، ہیلتھ چیکنگ اور تصدیق کو یکجا کرتا ہے۔