منصوبے کے بارے میں

LLM Router ایک پراکسی سرور اور Python لائبریری ہے جو متعدد Large Language Model (LLM) فراہم کنندگان کو ایک ہی اینڈ پوائنٹ میں یکجا کرتی ہے۔ یہ صارفین کو YAML فائل کے ذریعے کنفیگریشنز کا انتظام کر کے API keys یا کوڈ بیس تبدیل کیے بغیر مختلف ماڈلز کے ساتھ بات چیت کرنے کی اجازت دیتا ہے۔ اہم صلاحیتوں میں شامل ہیں: - **Multi-Provider Support**: 10 فراہم کنندگان کے ساتھ فوری انٹیگریشن، جن میں Google، Cohere، Mistral، OpenRouter، Cerebras، Groq، Hugging Face، Kilo Code، llm7.io، اور NVIDIA NIM شامل ہیں۔ - **Intelligent Routing**: صلاحیتوں (ویژن، ٹول کا استعمال، وغیرہ)، کانٹیکسٹ ونڈو کے سائز، اور کوالٹی موڈز (کوالٹی، فاسٹ، چیپ، یا کوڈ) کی بنیاد پر خودکار طور پر ماڈلز کا انتخاب کرتا ہے۔ - **Reliability Features**: ایکسپونینشل بیک آف ری ٹرائز (exponential backoff retries)، ناکامی کی صورت میں متبادل ماڈلز پر خودکار فال بیک، اور ریٹ لمیٹڈ کیز کے لیے کول ڈاؤن کے ساتھ کی روٹیشن نافذ کرتا ہے۔ - **OpenAI Compatibility**: ایک مقامی سرور شامل ہے جو OpenAI ہم آہنگ API فراہم کرتا ہے، جس سے یہ Void اور Continue جیسے ایڈیٹرز کے ساتھ ہم آہنگ ہو جاتا ہے۔ - **Observability**: تاریخ اور آڈٹنگ کے لیے تمام درخواستوں اور جوابات کو مقامی SQLite ڈیٹا بیس میں لاگ کرتا ہے۔ - **Flexible Usage**: اسے ایک اسٹینڈ الون مقامی سرور کے طور پر استعمال کیا جا سکتا ہے یا براہ راست Python پروجیکٹس میں لائبریری کے طور پر ضم کیا جا سکتا ہے۔