منصوبے کے بارے میں

multi-model-llm-gateway مختلف Large Language Model (LLM) فراہم کنندگان کے ساتھ بات چیت کے لیے ایک واحد انٹری پوائنٹ فراہم کرتا ہے۔ اسے دو بنیادی میکانزم کے ذریعے قابل بھروسہ اور کارکردگی بڑھانے کے لیے ڈیزائن کیا گیا ہے: فال بیک (fallback)، جو کسی فراہم کنندہ کے ناکام ہونے کی صورت میں سروس کے تسلسل کو یقینی بناتا ہے، اور لوڈ بیلنسنگ (load balancing)، جو دستیاب فراہم کنندگان کے درمیان درخواستوں کو تقسیم کرتا ہے۔