منصوبے کے بارے میں

LLMHub ایک ریورس پراکسی سروس ہے جسے OpenAI کے ہم آہنگ APIs کے لیے ڈیزائن کیا گیا ہے۔ یہ صارفین کو متعدد اپ اسٹریم API فراہم کنندگان کو ایک ہی انٹری پوائنٹ میں یکجا کرنے کی اجازت دیتا ہے، جس میں YAML کنفیگریشن فائل کے ذریعے تصدیق (authentication) اور درخواست کی روٹنگ کا انتظام کیا جاتا ہے۔ اہم صلاحیتوں میں شامل ہیں: - **Provider Aggregation**: کسٹم بیس URLs اور اختیاری HTTP پراکسی سیٹنگز کے ساتھ متعدد اپ اسٹریم فراہم کنندگان کے لیے سپورٹ۔ - **API Key Management**: ڈاؤن اسٹریم صارفین کے لیے کسٹم API کیز کی تعریف کرنے اور لوڈ بیلنسنگ کے لیے متعدد اپ اسٹریم کیز کا انتظام کرنے کی صلاحیت۔ - **Flexible Routing**: روٹنگ رولز جو ماڈل کے ناموں یا پہلے سے طے شدہ ماڈل گروپس کی بنیاد پر ڈاؤن اسٹریم درخواستوں کو مخصوص فراہم کنندگان تک پہنچاتے ہیں۔ - **Model Aliasing**: سادہ ناموں (aliases) کو پیچیدہ اصل ماڈل ناموں کے ساتھ میپ کرنے کی سپورٹ۔ - **Reliability**: ناکام اپ اسٹریم درخواستوں کے لیے قابلِ ترتیب ری ٹرائی (retry) میکانزم۔