इस प्रोजेक्ट के बारे में

LLMRouter एक स्व-होस्टेड大型 भाषा मॉडल (LLM) API गेटवे है जो उपयोगकर्ताओं को स्थानीय रूप से कई AI सेवा प्रदाताओं (जैसे Google, Groq, Mistral, 智谱AI, 阿里云百炼 आदि) को एक ही OpenAI संगत इंटरफ़ेस के माध्यम से समग्र रूप से कॉल करने की अनुमति देता है। सभी कुंजियाँ और कॉन्फ़िगरेशन स्थानीय SQLite डेटाबेस में एन्क्रिप्टेड रूप से संग्रहीत होते हैं, जिससे गोपनीयता और सुरक्षा सुनिश्चित होती है। सिस्टम स्वचलित विफलता अंतरण (429/5xx त्रुटि होने पर मॉडल बदलना), स्मार्ट रूटिंग (model="auto" स्वचलित सर्वोत्तम विकल्प चुनना), स्ट्रीमिंग आउटपुट और टूल कॉल का समर्थन करता है। कुंजी प्रबंधन, रूटिंग प्राथमिकता समायोजन और Playground परीक्षण के लिए Web प्रशासन पैनल उपलब्ध है। Windows/macOS/Linux पर एक-क्लिक डिप्लॉयमेंट का समर्थन करता है, खाली मेमोरी ऑक्सीपाशन लगभग 40MB होता है, जो व्यक्तिगत या छोटी टीमों के लिए उपयुक्त है। तकनीकी आधार Express बیکएंड और React फ्रंटएंड पर निर्मित है, मानufacturer एडाप्टेशन मॉड्यूलर डिज़ाइन के साथ, जिससे विस्तार करना आसान होता है।