इस प्रोजेक्ट के बारे में

Smart SLM Router एक एसिंक्रोनस लोकल प्रॉक्सी है जिसे LLM अनुरोधों को बुद्धिमानी से रूट करके API लागत को कम करने के लिए डिज़ाइन किया गया है। यह OpenAI API विनिर्देश के साथ पूरी तरह से संगत है, जिससे यह बेस URL को अपडेट करके मौजूदा OpenAI SDK अनुप्रयोगों के लिए एक ड्रॉप-इन रिप्लेसमेंट के रूप में कार्य कर सकता है। मुख्य क्षमताओं में शामिल हैं: - लोकल इंटेंट क्लासिफिकेशन: नेटवर्क लेटेंसी के बिना 15ms से कम समय में रूटिंग का निर्णय लेने के लिए लेंथ ह्यूरिस्टिक्स, टोकन regex पैटर्न और टूल-कॉल संकेतकों का उपयोग करता है। - डायनेमिक रूटिंग: सरल प्रश्नों को SLMs (जैसे, Ollama या vLLM के माध्यम से) पर निर्देशित करता है और जटिल, तकनीकी या बहु-चरणीय प्रश्नों को Tier-1 फ्रंटियर मॉडल्स (जैसे, GPT-4o, Claude) पर भेजता है। - ट्रांसपेरेंट फॉलबैक: यदि SLM कनेक्शन विफलता, मॉडल इनकार या JSON पार्स त्रुटि देता है, तो यह स्वचालित रूप से अनुरोधों को पुनः प्रयास करता है और फ्रंटियर मॉडल पर भेजता है। - पूर्ण API समर्थन: यह नॉन-स्ट्रीमिंग और स्ट्रीमिंग (SSE) दोनों प्रतिक्रियाओं का समर्थन करता है। - ऑब्जर्वेबिलिटी: वास्तविक समय में USD लागत बचत, अनुरोध गणना और निर्णय लेटेंसी को ट्रैक करने के लिए एक `/metrics` एंडपॉइंट प्रदान करता है। यह सिस्टम Python 3.12+ और FastAPI के साथ बनाया गया है, जो बैकएंड URL, मॉडल नाम और टोकन थ्रेशोल्ड के कॉन्फ़िगरेशन के लिए एनवायरनमेंट वेरिएबल्स का उपयोग करता है।