اوپن سورس۔ نئے امکانات۔

ایک ہلکا پھلکا OpenAI API ریورس پراکسی جس میں فی-کی ٹوکن بجٹ، ریٹ لمٹینگ، کاسٹ ڈیش بورڈز اور خودکار ماڈل ڈاؤن گریڈنگ کی خصوصیات موجود ہیں۔

جیمی نی ویب2API گوگل کے اندرونی جیمی نی API کے لیے ایک اوپن اے آئی اسٹائل پراکسی سرور ہے جو کوکی بیسڈ تصدیق استعمال کرتا ہے۔

gateway ایک ہیڈ لیس AI گیٹ وے ہے جو OpenAI کے لیے سیکیئر ملٹی یوزر ایکسیس، لاگت ٹریکنگ، ریٹ لمٹنگ، اور PII ریڈیکشن کو کم از کم سیٹ اپ کے ساتھ ممکن بناتا ہے۔

AIGate ایک مقامی طور پر چلنے والا OpenAI-compatible ریورس پروکسی گیٹوے ہے جو کئی AI سروس فراہم کنندگان کے API کو یکجا مدیریت کرتا ہے۔ یہ ملٹی وینڈر راؤٹنگ، بریکر پروٹیکشن، سرخ رنگ کی غلطی پیغامات، بصری مینجمنٹ پینل اور مقامی ڈیسک ٹاپ ایپلیکیشن کی سہولت فراہم کرتا ہے۔

Inja LLM Gateway ایک بے حالت API گیٹ وے ہے جو OpenAI، Anthropic اور Gemini کی درخواستوں کو متعدد فراہم کنندگان پر روٹ کرتا ہے، کراس ڈائیلیکٹ ترجمہ، استعمال کی پیمائش اور سنگل بائنری ڈیپلائمنٹ کے ساتھ۔

Z.AI Claude API کے لیے پروڈکشن گریڈ LLM ریورس پراکسی، جس میں ٹوکن گنتی، انکولی ریٹ لمٹنگ، Prometheus میٹرکس، اور ریئل ٹائم مانیٹرنگ ڈیش بورڈ شامل ہیں۔

کانگ گیٹ وے ایک کلاؤڈ نیٹیو، پلیٹ فارم ایجنوسٹک اور پیمانے پر قابل API، LLM اور MCP گیٹ وے ہے جو پراکسی، راؤٹنگ، لوڈ بالینسنگ، ہیلتھ چیکنگ اور تصدیق کو یکجا کرتا ہے۔

Apache APISIX ایک متحرک، ریئل ٹائم، اعلیٰ کارکردگی والا کلاؤڈ نیٹیو API اور AI گیٹ وے ہے جو NGINX اور etcd پر مبنی ہے، جس میں ڈائنامک روٹنگ، پلگ ان ہاٹ لوڈنگ، ملٹی پروٹوکول سپورٹ، اور LLM ورک لوڈز کے لیے AI پراکسی شامل ہیں۔