منصوبے کے بارے میں

یہ Node.js پر مبنی پراکسی تہہ صارفین کو/OpenAI مطابقت پذیر انٹرفیس (/v1/chat/completions) کے ذریعے AI ماڈل کی درخواستوں کو متعدد فراہم کنندگان کے درمیان ری روٹ کرنے کی سہولت دیتی ہے۔ اسے AI ڈپلائنمنٹس میں اعتماد اور لچک کو یقینی بنانے کے لیے ڈیزائن کیا گیا ہے۔ اہم خصوصیات: - ملٹی پرووائیڈر فال بیک: تعین کردہ ترجیح کی بنیاد پر اسی ماڈل کے لیے درخواستوں کو متعدد فراہم کنندگان کو ری روٹ کریں۔ - صحت آگاہ ریوٹنگ: خودکار فال بیک اور بحالی کے عمل کو فعال کرنے کے لیے حقیقی وقت میں فراہم کنندگان کی صحت کی نگرانی کرتا ہے۔ - محفوظ ترتیب: رازوں کو ہارڈکوڈ کرنے سے بچنے کے لیے ماحولیاتی متغیرات کے ذریعے API کلیدی داخل کرنے کی حمایت کرتا ہے۔ - ماڈل میپنگ: مخصوص ماڈلز کو مختلف فراہم کنندگان کے اینڈ پوائنٹس اور API کلیدوں سے منسلک کرنے کے لیے YAML ترتیب کا استعمال کرتا ہے۔ - مقامی ایڈمن UI: ماڈل-فراہم کنندہ میپنگز کو منظم کرنے کے لیے ایک اختیاری ہلکا پھلکا پینل شامل ہے۔ - ایج ریڈی ڈیزائن: Cloudflare Workers یا Vercel Edge جیسے ایج پلیٹ فارمز پر ممکنہ منتقلی کے لیے ترتیب دیا گیا ہے۔