প্রকল্প সম্পর্কে

LLMRouter হল একটি সেলফ-হোস্টেড বৃহৎ ভাষা মডেল(LLM)API গেটওয়ে, যা ব্যবহারকারীদের প্রাথমিকতায় একাধিক AI সেবাদাতা(যেমন Google, Groq, Mistral, Zhipu AI, Alibaba Cloud Baiyan ইত্যাদি) থেকে একই OpenAI-সামঞ্জস্যপূর্ণ ইন্টারফেসের মাধ্যমে কল করার সুযোগ দেয়। সকল কী এবং কনফিগারেশন এনক্রিপ্টভাবে স্থানীয় SQLite ডেটাবেজে সংরক্ষিত হয়, যা গোপনীয়তা নিশ্চিত করে। সিস্টেম স্বয়ংক্রিয় ফলব্যাক(429/5xx ত্রুটির সময় মডেল পরিবর্তন), বুদ্ধিমান রুটিং(model="auto" স্বয়ংক্রিয়ভাবে সেরা মডেল নির্বাচন), স্ট্রিমিং আউটপুট এবং টুল কল সাপোর্ট করে। Web ম্যানেজমেন্ট প্যানেল কী ব্যবস্থাপনা, রুটিং অগ্রাধিকার সামঞ্জস্য এবং Playground টেস্টিং প্রদান করে। Windows/macOS/Linux-এ এক ক্লিকে ডিপ্লয়মেন্ট সমর্থন করে, খালি অবস্থায় প্রায় 40MB মেমরি ব্যবহার করে, ব্যক্তিগত বা ছোট দলের জন্য উপযুক্ত। টেকনিক্যাল আর্কিটেকচার Express ব্যাকএন্ড এবং React ফ্রন্টএন্ড ভিত্তিক, ভেন্ডর অ্যাডাপ্টেশন মডিউলার ডিজাইন, সহজ সম্প্রসারণযোগ্য।