इस प्रोजेक्ट के बारे में

LLM Router एक लोकल डेस्कटॉप एप्लिकेशन है जो AI क्लाइंट्स (जैसे Claude Code, Cursor, और Codex CLI) और विभिन्न LLM प्रदाताओं जिसमें OpenAI, Anthropic, Google Gemini, और DeepSeek शामिल हैं, के बीच एक इंटेलिजेंट प्रॉक्सी के रूप में कार्य करता है। इसका प्राथमिक लक्ष्य एक ही प्रदाता के साथ बातचीत की "stickiness" बनाए रखकर API लागत को कम करना है, जिससे यह सुनिश्चित हो सके कि लंबी बातचीत के दौरान प्रॉम्प्ट कैशिंग छूट (prompt caching discounts) सुरक्षित रहें। यह ऐप एक एकीकृत लोकल API एंडपॉइंट (localhost:11411) प्रदान करता है और OpenAI और Anthropic दोनों शैली के अनुरोध प्रारूपों का समर्थन करता है। मुख्य क्षमताओं में शामिल हैं: - लागत अनुकूलन (Cost Optimization): उपयोग किए गए टोकन, खर्च किए गए पैसे और कैश हिट्स के माध्यम से प्राप्त बचत को ट्रैक करता है। - इंटेलिजेंट रूटिंग (Intelligent Routing): मॉडल के नाम, प्रॉम्प्ट की लंबाई या प्रदाता की उपलब्धता के आधार पर अनुरोधों को रूट करने के लिए अनुकूलन योग्य नियम। - पारदर्शिता (Transparency): एक "Routing Explain" फीचर जो विस्तार से बताता है कि एक विशिष्ट मॉडल को क्यों चुना गया और किन विकल्पों पर विचार किया गया था। - आसान एकीकरण (Easy Integration): Claude Code और Codex CLI जैसे विशिष्ट टूल के लिए वन-क्लिक "App Takeover" ताकि कॉन्फ़िगरेशन को स्वचालित किया जा सके। - गोपनीयता (Privacy): एम्बेडेड SQLite डेटाबेस का उपयोग करने वाला लोकल-फर्स्ट आर्किटेक्चर; API कीज़ स्थानीय रूप से संग्रहीत की जाती हैं और कभी भी डिवाइस से बाहर नहीं जाती हैं। - क्रॉस-प्लेटफॉर्म सपोर्ट: macOS, Windows और Linux के लिए उपलब्ध है।