इस प्रोजेक्ट के बारे में

LLM Router एक FastAPI एप्लिकेशन है जिसे कई AI बैकएंड के लिए एक एकीकृत प्रॉक्सी के रूप में कार्य करने के लिए डिज़ाइन किया गया है, जबकि OpenAI Chat Completions API के साथ पूर्ण अनुकूलता बनाए रखता है। यह डेवलपर्स को प्राथमिकता-आधारित सिस्टम और ऑटोमैटिक फेलओवर का उपयोग करके विभिन्न प्रदाताओं—जिसमें OpenAI, Cerebras, DeepInfra और स्थानीय Ollama इंस्टेंस शामिल हैं—के बीच अनुरोधों को रूट करने की अनुमति देता है। मुख्य क्षमताओं में शामिल हैं: - मल्टी-बैकएंड रूटिंग: उपलब्धता और प्राथमिकता के आधार पर विभिन्न AI सेवाओं के बीच सहजता से स्विच करें। - OpenAI अनुकूलता: केवल बेस URL बदलकर मौजूदा OpenAI-आधारित अनुप्रयोगों के लिए एक ड्रॉप-इन रिप्लेसमेंट के रूप में कार्य करता है। - लचीलापन विशेषताएं: यदि प्राथमिक सेवा विफल हो जाती है या रेट लिमिट तक पहुँच जाती है, तो सेकेंडरी बैकएंड पर ऑटोमैटिक फेलओवर लागू करता है। - ट्रैफिक प्रबंधन: स्लाइडिंग विंडो एल्गोरिदम का उपयोग करके एक बिल्ट-इन रेट लिमिटिंग सिस्टम प्रदान करता है और प्रमाणीकरण के लिए कई API कुंजियों का समर्थन करता है। - निगरानी और आँकड़े: हेल्थ चेक, बैकएंड स्थिति और उपयोग मेट्रिक्स के लिए समर्पित एंडपॉइंट्स प्रदान करता है। - लचीला कॉन्फ़िगरेशन: पर्यावरण-आधारित सेटअप या उन्नत JSON-आधारित रूटिंग नियमों का समर्थन करता है। यह टूल विशेष रूप से उन डेवलपर्स के लिए उपयोगी है जो अपने कोडबेस को बदले बिना अपने मॉडल प्रदाताओं में विविधता लाकर अपने AI-संचालित अनुप्रयोगों की विश्वसनीयता बढ़ाना चाहते हैं।