منصوبے کے بارے میں

LLM Gateway ایک متحد پراکسی سرور ہے جسے متعدد Large Language Model (LLM) فراہم کنندگان کے ساتھ تعاملات کو ہموار بنانے کے لیے ڈیزائن کیا گیا ہے۔ یہ ایک واحد، OpenAI-مطابق اینڈ پوائنٹ فراہم کرتا ہے جو درخواستوں کو مختلف بیک اینڈز تک پہنچاتا ہے جن میں OpenAI، OpenRouter، Google Gemini، اور Ollama جیسے مقامی انسٹنسز شامل ہیں۔ کلیدی صلاحیتوں میں ایک خودکار فال بیک میکانزم شامل ہے جو بنیادی فراہم کنندہ کے ناکام ہونے کی صورت میں متبادل فراہم کنندگان کی کوشش کرتا ہے، جس سے اعلیٰ دستیابی (high availability) یقینی بنتی ہے۔ گیٹ وے API کیز کے مطابق ریٹ لمٹینگ بھی نافذ کرتا ہے تاکہ ضرورت سے زیادہ استعمال کو روکا جا سکے اور مختلف فراہم کنندگان میں کل درخواستوں، کامیابی کی شرح، اور ٹوکن کی کھپت کو ٹریک کرنے کے لیے ایک جامع میٹرکس اینڈ پوائنٹ فراہم کرتا ہے۔ اسے Docker کے ذریعے آسان تعیناتی کے لیے ڈیزائن کیا گیا ہے اور یہ صرف بیس URL کو اپ ڈیٹ کر کے موجودہ OpenAI کلائنٹ کنفیگریشنز کے لیے ایک ڈراپ ان متبادل کے طور پر کام کر سکتا ہے۔ سپورٹڈ فیچرز میں چیٹ مکمل کرنے (chat completions)، ایمبیڈنگز (embeddings)، اور ماڈل لسٹنگ شامل ہیں، جس میں قابلِ ترتیب فال بیک چینز اور فی منٹ درخواستوں کی حدود موجود ہیں۔