इस प्रोजेक्ट के बारे में

LLM Router एक मिडलवेयर लेयर है जो आपके एप्लिकेशन और एक LLM प्रदाता (डिफ़ॉल्ट: Perplexity) के बीच स्थित होता है। यह टोकन काउंट और कीवर्ड संकेतों के आधार पर आने वाले प्रॉम्प्ट्स को simple, medium, या complex टियर्स में वर्गीकृत करता है, और फिर प्रत्येक अनुरोध को सबसे लागत-प्रभावी मॉडल: sonar (simple), sonar-pro (medium), या sonar-deep-research (complex) पर रूट करता है। प्रत्येक अनुरोध को PostgreSQL में प्रॉम्प्ट, रिस्पॉन्स, टोकन, लागत, लेटेंसी, रूटिंग कारण और वैकल्पिक प्रोजेक्ट टैग सहित पूर्ण विवरण के साथ लॉग किया जाता है। सिस्टम लागत सारांश, बचत गणना और प्रति-मॉडल/दिन/प्रोजेक्ट ब्रेकडाउन के लिए एक एनालिटिक्स API प्रदान करता है। एक React डैशबोर्ड उपयोग के रुझान, लागत वितरण और अनुरोध लॉग को विज़ुअलाइज़ करता है। Grafana रीयल-टाइम मेट्रिक्स के लिए Prometheus के साथ एकीकृत होता है। इसकी आर्किटेक्चर प्रदाता-अज्ञेय (provider-agnostic) है — आप `backend/services/providers/` में एक सिंगल इंटरफेस लागू करके किसी भी LLM API को प्लग इन कर सकते हैं। FastAPI, PostgreSQL, React और Docker Compose के साथ निर्मित, इसमें सैंपल डेटा सीडिंग, डेमो स्क्रिप्ट और टेस्ट शामिल हैं। इसे सीखने और पोर्टफोलियो उपयोग के लिए डिज़ाइन किया गया है; यह प्रोडक्शन-रेडी नहीं है। इसके लिए प्राइसिंग और API कीज़ के कॉन्फ़िगरेशन की आवश्यकता होती है। परफॉरमेंस ओवरहेड आमतौर पर 50ms से कम होता है। इसमें भविष्य के विस्तार के लिए auth, caching और multi-tenancy के लिए प्लेसहोल्डर्स शामिल हैं।