منصوبے کے بارے میں

AI Gateway ایک ہلکا پھلکا، سیلف ہوسٹ ایبل API گیٹ وے ہے جسے OpenAI کے انٹرفیس کے ساتھ ہم آہنگ ہونے کے لیے ڈیزائن کیا گیا ہے۔ یہ صارفین کو ان کی ایپلی کیشنز میں استعمال ہونے والے مخصوص ماڈل ناموں سے منسلک روٹس (routes) کی تعریف کرنے کی اجازت دیتا ہے، پھر یہ ترتیب دیے گئے فراہم کنندگان (providers) کے ذریعے باری باری درخواستیں بھیجتا ہے جب تک کہ کوئی ایک کامیاب نہ ہو جائے — جس سے ریٹ لمٹس یا آؤٹیجز کی وجہ سے ہونے والی ناکامیوں کو کم کرنے میں مدد ملتی ہے۔ یہ Docker ڈیپلائمنٹ، systemd سروسز، اور لوکل بائنری بلڈز کو سپورٹ کرتا ہے۔ کنفیگریشن YAML کے ذریعے مینج کی جاتی ہے جس میں انوائرمنٹ ویری ایبل سبسٹٹیشن کی سہولت موجود ہے، جو لچکدار پرووائیڈر سیٹ اپ (مثلاً Cerebras، OpenRouter) اور فی روٹ ٹائم آؤٹ کو ممکن بناتی ہے۔ اس میں ہم آہنگی کی اصلاحات کے لیے ریکویسٹ ایڈاپٹرز (جیسے tool_choice ریلیکسیشن یا JSON schema انجکشن)، عارضی غلطیوں پر اینڈ پوائنٹ روٹیشن، اور ڈائیگناسٹک اینڈ پوائنٹس شامل ہیں۔ تصدیق (Authentication) کے لیے API keys استعمال ہوتی ہیں؛ OTLP/HTTP کے ذریعے ٹیلی میٹری اختیاری ہے۔ سیکیورٹی ڈیفالٹس میں نان روٹ ایگزیکیوشن اور ریڈیکٹڈ لاگز شامل ہیں۔ یہ ان ڈویلپرز کے لیے آئیڈیل ہے جو n8n جیسی ایپس میں LLMs کو انٹیگریٹ کر رہے ہیں اور ساتھ ہی پرووائیڈر فال بیکس پر لچک اور کنٹرول برقرار رکھنا چاہتے ہیں۔