इस प्रोजेक्ट के बारे में

यह रिपॉजिटरी एक टियरड LLM कास्केड राउटर का प्रोडक्शन-रेडी कार्यान्वयन प्रदान करती है, जिसे API खर्चों को 65% तक कम करने के लिए डिज़ाइन किया गया है। यह सिस्टम आने वाली क्वेरीज़ का विश्लेषण करने और उन्हें तीन प्रदर्शन स्तरों में से एक पर रूट करने के लिए एक लाइटवेट क्लासिफायर (Claude Haiku) का उपयोग करता है: सरल फॉर्मेटिंग और एक्सट्रैक्शन के लिए Gemini 2.5 Flash-Lite, मध्यम विश्लेषण और कोडिंग के लिए Claude Sonnet, और जटिल रीजनिंग के लिए Claude Opus। इस पैकेज में एक कोर राउटिंग इंजन, वर्गीकरण सटीकता को मापने के लिए एक इवैल्यूएशन हार्नेस, और लाइव रिस्पॉन्स को प्रभावित किए बिना प्रोडक्शन ट्रैफिक की निगरानी के लिए एक शैडो मोड स्क्रिप्ट शामिल है। यह Anthropic और Google Gemini APIs का समर्थन करता है और प्रत्येक रूट किए गए अनुरोध के लिए विस्तृत टोकन उपयोग और लागत विवरण प्रदान करता है। यह कार्यान्वयन उन डेवलपर्स के लिए डिज़ाइन किया गया है जो हाई-वॉल्यूम AI एप्लिकेशन्स में बजट बाधाओं के साथ मॉडल प्रदर्शन को संतुलित करना चाहते हैं।