इस प्रोजेक्ट के बारे में

Route67 एक हल्का LLM राउटिंग सिस्टम है जिसे OpenAI-संगत चैट कंप्लीशन APIs के लिए डिज़ाइन किया गया है। यह उपयोगकर्ताओं को एक राउटिंग टेबल परिभाषित करने की अनुमति देता है जो प्राकृतिक भाषा क्वेरीज़ को लक्षित मॉडलों (जैसे, 'Prove this theorem' → 'strong_model') से मैप करता है। रनटाइम पर, आने वाली क्वेरीज़ को सेंटेंस ट्रांसफॉर्मर मॉडल द्वारा गणना की गई कोसाइन समानता (cosine similarity) का उपयोग करके राउटिंग टेबल के साथ मिलाया जाता है। यदि कोई भी मिलान कॉन्फ़िगर करने योग्य थ्रेशोल्ड से अधिक नहीं होता है, तो एक निर्दिष्ट 'weak model' गेटकीपर के रूप में कार्य करता है: यह या तो सीधे उत्तर देता है या अपने निर्णय के आधार पर इसे एक अधिक शक्तिशाली मॉडल (stronger model) पर भेज देता है। यह सिस्टम एक कस्टम क्लाइंट इंजेक्ट करके किसी भी OpenAI-संगत प्रदाता (जैसे, OpenRouter) का समर्थन करता है। राउटिंग कॉन्फ़िगरेशन में मॉडल के नाम बिना किसी बदलाव के पास किए जाते हैं, जिससे राउटिंग लॉजिक को संशोधित किए बिना लचीले बैकएंड स्विचिंग की अनुमति मिलती है। प्रदाता-विशिष्ट अनुरोध विकल्प (जैसे extra_body) और प्रतिक्रिया फ़ील्ड (जैसे reasoning_details) सुरक्षित रखे जाते हैं। राउटिंग टेबल प्रविष्टियाँ केवल "weak_model" या "strong_model" का संदर्भ देती हैं; वास्तविक मॉडल पहचानकर्ता ModelSpec ऑब्जेक्ट्स में होते हैं। ModelSpec के उपयोग नोट्स को weak model के सिस्टम प्रॉम्प्ट में इंजेक्ट किया जाता है ताकि एस्केलेशन व्यवहार का मार्गदर्शन किया जा सके। एम्बेडिंग मॉडल (minishlab/potion-base-8M) पहले उपयोग पर लेज़ीली डाउनलोड किया जाता है। रिपॉजिटरी में सिंथेटिक डेटासेट का उपयोग करके राउटिंग सटीकता और थ्रेशोल्ड संवेदनशीलता का मूल्यांकन करने के लिए बेंचमार्किंग टूल शामिल हैं। ये विकास और ट्यूनिंग के लिए हैं, मानक PyPI इंस्टॉलेशन का हिस्सा नहीं हैं। इंस्टॉलेशन के लिए Python 3.10+ की आवश्यकता होती है और इसे pip या uv के माध्यम से किया जा सकता है। उदाहरण कोड पर्यावरण चर (environment variables) और बुनियादी राउटिंग लॉजिक के साथ न्यूनतम सेटअप प्रदर्शित करता है।