منصوبے کے بارے میں

llm-failover-proxy ایک واحد مقامی اینڈ پوائنٹ (OpenAI-مطابق) فراہم کرتا ہے جو LLM فراہم کنندگان کی ترجیحی چین کو منظم کرتا ہے۔ اگر بنیادی ماڈل ریٹ لمٹس، غلطیوں یا ٹائم آؤٹ کی وجہ سے ناکام ہو جائے تو پراکسی بغیر کسی مداخلت کے ایپلیکیشن کو متاثر کیے، چین میں اگلے دستیاب ماڈل پر پوشیدہ طور پر سوئچ کر دیتا ہے۔ اہم قابلیتیں شامل ہیں: - Parallel Racing: اگر کوئی ترجیحی ماڈل ردعمل میں سست ہو (ڈیفالٹ 5 سیکنڈ)، تو پراکسی متوازی طور پر اگلے ماڈل کو درخواست بھیجتا ہے اور پہلے قابل استعمال جواب کو قبول کر کے تاخیر کو کم سے کم کرتا ہے۔ - Model Lists: مختلف مقاصد کے لیے متعدد نامی فہرستوں کی حمایت کرتا ہے، جیسے چیٹ اور ایمبیڈنگز کے لیے الگ الگ چینز۔ - Provider Management: API کلیدوں کی ترتیب، ماڈل کی ترجیح کا انتظام، اور کارکردگی کے اعداد و شمار کی نگرانی کے لیے ایک ٹرمینل UI شامل ہے۔ - Health Monitoring: سروس کی لائیو نیس چیک کرنے اور ہر ماڈل کے کامیابی/ناکامی کی شرح کو ٹریک کرنے کے لیے اینڈ پوائنٹس (/health, /stats) فراہم کرتا ہے۔ - Background Operation: اسے بیک گراؤنڈ سروس کے طور پر انسٹال کیا جا سکتا ہے جو ونڈوز، میک او ایس، اور لینکس پر سسٹم لاگ ان پر خودکار طور پر شروع ہو جاتی ہے۔ - Compatibility: اسٹریمنگ، ٹول/فنکشن کالنگ، وژن، اور JSON موڈ کی حمایت کرتا ہے اور انہیں براہِ مستقیم فراہم کنندگان تک پہنچاتا ہے۔