منصوبے کے بارے میں

LLMRouter ایک خود ساختہ بڑی زبان ماڈل (LLM) API گیٹ وے ہے جو صارفین کو مقامی طور پر متعدد AI سروس فراہم کنندگان (جیسے Google، Groq，Mistral，智谱AI，阿里云百炼 وغیرہ) کو ایک OpenAI مطابقت پذیر انٹرفیس کے ذریعے یکجا طور پر استعمال کرنے کی اجازت دیتا ہے۔ تمام کنجیاں اور ترتیبات مقامی SQLite ڈیٹابیس میں انکرپٹ شدہ محفوظ کی جاتی ہیں تاکہ نجی معلومات کی حفاظت یقینی بنائی جا سکے۔ یہ سسٹم خودکار فیلتول تھرسفر (429/5xx ایرر پر ماڈل تبدیل)، اسمارٹ روٹنگ (model="auto" سے بہترین ماڈل کا خودکار انتخاب)، اسٹریمنگ آؤٹ پٹ اور ٹول کالنگ کی سپورٹ فراہم کرتا ہے۔ کنجی مینجمنٹ، روٹنگ ترجیحات کی ترتیب اور Play ground ٹیسٹنگ کے لیے ویب مینجمنٹ پینل موجود ہے۔ یہ Windows/macOS/Linux پر ون کلک ڈیپلائمنٹ کی سہولت دیتا ہے، خالی ریم میں تقریباً 40MB الگوریدم استعمال کرتا ہے اور ذاتی یا چھوٹی ٹیموں کے لیے موزوں ہے۔ تکنیکی معماری Express بیک اینڈ اور React فرینٹ اینڈ پر مبنی ہے جس میں سپلائر ایڈاپٹر ماڈیولر ڈیزائن ہے جس سے توسیع آسانی سے ممکن ہوتی ہے۔