इस प्रोजेक्ट के बारे में

यह एक स्थानीय नियतात्मक (deterministic) LLM रूटिंग प्रॉक्सी है जो OpenAI और Anthropic API अनुरोधों को स्वीकार करता है और उन्हें कॉन्फ़िगर करने योग्य, नियम-आधारित स्कोरिंग के आधार पर उपलब्ध सर्वोत्तम मॉडल पर रूट करता है — इसमें कोई यादृच्छिकता (randomness) या LLM-इन-द-लूप निर्णय नहीं होते हैं। यह OpenRouter (क्लाउड मेटा-प्रोवाइडर), oMLX (स्थानीय Apple Silicon मॉडल), Ollama और OpenAI, Groq, Gemini जैसे प्रत्यक्ष क्लाउड प्रोवाइडर्स सहित कई बैकएंड का समर्थन करता है। सिस्टम चार-चरण वाले विशेषज्ञ सिस्टम का उपयोग करके प्रत्येक अनुरोध का मूल्यांकन करता है: प्रोफाइल रिज़ॉल्यूशन, हार्ड फ़िल्टरिंग (संदर्भ, मोडैलिटीज़, गोपनीयता, मूल्य सीमा), वेटेड स्कोरिंग (लागत, विलंबता, संदर्भ हेडरुम, प्राथमिकता, गुणवत्ता), और प्रोवाइडर-विशिष्ट फ्लैग इंजेक्शन। उपयोगकर्ता छह अंतर्निहित प्रोफाइल (जैसे, cheap, fast, private, smart, local) में से चुन सकते हैं या कॉन्फ़िग के माध्यम से कस्टम प्रोफाइल परिभाषित कर सकते हैं। हेडर या बॉडी फ़ील्ड के माध्यम से प्रति-अनुरोध स्टीयरिंग संभव है। प्रॉक्सी में चैट प्लेग्राउंड, मॉडल कैटलॉग, रूटिंग एक्सप्लेनेशन, उपयोग आँकड़े और लॉग के लिए एक वेब इंटरफेस है; साथ ही GUI कॉन्फ़िगरेशन के लिए एक नेटिव macOS मेनू-बार एडमिन ऐप भी है। यह रैंक की गई सूची में नीचे गिरकर (fallback) अपस्ट्रीम त्रुटियों को संभालता है और सीधे SSE प्रतिक्रियाओं को स्ट्रीम करता है। इसकी विशेषताओं में स्वचालित OpenRouter कुंजी रोटेशन, सीक्रेट रिडक्शन (DLP), API कुंजियों के लिए प्रोफाइल पिनिंग और Artificial Analysis के माध्यम से गुणवत्ता स्कोरिंग शामिल है। स्थायी कॉन्फ़िग और SQLite इतिहास के साथ Docker समर्थन प्रदान किया गया है। कोई हॉट-रीलोड नहीं है — कॉन्फ़िग परिवर्तनों के बाद रीस्टार्ट आवश्यक है। इसे Rust में कॉन्फ़िग, कोर लॉजिक, प्रोवाइडर्स और एडमिन टूल्स के लिए मॉड्यूलर क्रेट्स के साथ बनाया गया है।