منصوبے کے بارے میں

LLM Router ایک سرور ہے جو مختلف LLM فراہم کنندگان کے درمیان OpenAI-compatible API درخواستوں کو موڑنے کے لیے ڈیزائن کیا گیا ہے۔ یہ متفقہ انٹرفیس فراہم کرتا ہے اور OpenAI، Anthropic، اور Gemini فارمیٹس کے درمیان درخواستوں و جوابات کی تبدیلی سنبھالتا ہے۔ اہم صلاحیتیں: - ملٹی پرووائیڈر سپورٹ: OpenAI، Anthropic، اور Gemini API اینڈ پوائنٹس کے ساتھ مطابقت رکھتا ہے۔ - درخواست/جواب تبدیلی: سپورٹ شدہ API معیارات کے درمیان ڈیٹا فارمیٹس کو خودکار طور پر ترجمہ کرتا ہے۔ - جدید ماڈل انتخاب: مکمل jq ایکسپریشن سینٹیکس کا استعمال کرتے ہوئے ماڈل منتخب کرنے کی سپورٹ، جس سے درخواست کے باڈی کی بنیاد پر مشروط راؤٹنگ ممکن ہوتی ہے۔ - راؤٹنگ حکمت عملیاں: رائنڈ روبن، رینڈم، اور لیسٹ کنکشن حکمت عملیاں وزن کی بنیاد پر تقسیم کے ساتھ نافذ کرتا ہے۔ - ایرر ہینڈلنگ: دستیابی کو منظم کرنے کے لیے ناکامی پر ماڈل کا وزن خودکار طور پر کم کرتا ہے۔ - ترتیب: YAML فائل کے ذریعے منظم کی جاتی ہے جہاں صارفین ماڈل لسٹیں، API کیز، بیس URL، اور راؤٹنگ گروپس تعریف کر سکتے ہیں۔