इस प्रोजेक्ट के बारे में

llm-router एक हल्का, सिंगल-बाइनरी रिवर्स प्रॉक्सी है जो Claude जैसे LLM API का उपयोग करते समय लागत को अनुकूलित करने के लिए डिज़ाइन किया गया है। यह आपकी एप्लिकेशन और LLM प्रदाताओं के बीच बैठता है, प्रत्येक अनुरोध को समझदारी से सबसे सस्ते मॉडल पर रूट करता है जो उसे संभालने में सक्षम हो — जैसे कि सरल प्रश्नों के लिए Haiku, मध्यम कार्यों के लिए Sonnet, या जटिल तर्क के लिए Opus। इसमें सेमैन्टिक कैशिंग (Jaccard समानता का उपयोग करके, किसी बाहरी एम्बेडिंग के बिना), समान समकालीन अनुरोधों का डीडुप्लिकेशन, और निर्भरता ट्रैकिंग और समानांतर निष्पादन के साथ DAG के रूप में परिभाषित बहु-चरण एजेंट वर्किंग फ्लो का निष्पादन शामिल है। यह सिस्टम बैकएंड स्वास्थ्य और लोड को रियल-टाइम में ट्रैक करता है, स्वचालित रूप से कमजोर या ओवरलोडेड मॉडल से बचता है। इसमें फीडबैक केलिब्रेशन के साथ ML-सहायक रूटिंग का समर्थन मिलता है और विस्तृत लागत ट्रैकिंग तथा बचत रिपोर्ट प्रदान करता है। YAML के माध्यम से कॉन्फ़िगर किए जा सकने वाले इसमें Anthropic, Ollama, vLLM, या कोई भी OpenAI-कम्पैटिबल बैकएंड शामिल हैं। यह 7 शोध पत्रों और ओपन-सोर्स सिस्टम की तकनीकों से बना है, इसमें कोई बाहरी निर्भरता नहीं है और 57 टेस्ट शामिल हैं। उत्पादन वातावरण में प्रदर्शन और सहनशीलता बनाए रखते हुए API खर्च कम करने के लिए आदर्श।