इस प्रोजेक्ट के बारे में

LLM-Router एक उत्पादन-तैयार गेटवे है जिसे विभिन्न Large Language Model (LLM) प्रदाताओं को एक समझौतेदार, OpenAI-संगत API में संसाधित करने के लिए डिज़ाइन किया गया है। यह डेवलपर्स को OpenAI, DeepSeek, और Anthropic जैसे प्रदाताओं या Ollama जैसे स्थानीय मॉडल्स के बीच क्लाइंट-साइड कोड बदले बिना स्विच करने की अनुमति देता है। सिस्टम एसिंक्रोनस आर्किटेक्चर पर बना है जिसमें कनेक्शन पूलिंग, रिक्वेस्ट कैशिंग, और Server-Sent Events (SSE) के माध्यम से रियल-टाइम रिस्पॉन्स स्ट्रीमिंग शामिल है। मुख्य एंटरप्राइज़ फीचर्स में API कुंजी प्रमाणीकरण, दर सीमा नियंत्रण, अनुरोध सत्यापन, और गतिशील कॉन्फ़िगरेशन होट-रिलोडिंग शामिल हैं। निगरानी और रखरखाव के लिए, इसमें बिल्ट-इन हेल्थ चेक, Prometheus मेट्रिक्स, और स्ट्रक्चर्ड लॉगिंग प्रदान करता है। Docker और Kubernetes मैनिफ़ेस्ट के माध्यम से तैनाती सरल है, जो उच्च-लोड उत्पादन वातावरण के लिए उपयुक्त बनाता है।