इस प्रोजेक्ट के बारे में

LLM Router एक सर्वर है जिसे अलग-अलग LLM प्रदाताओं के बीच ऑपन-एआई-कम्पेटिबल API अनुरोधों को राउट करने के लिए डिज़ाइन किया गया है। यह एक सार्वभौमिक इंटरफ़ेस प्रदान करता है और अनुरोधों व प्रतिक्रियाओं के रूप antara OpenAI, Anthropic और Gemini के बीच परिवर्तन संभालता है। मुख्य विशेषताएँ: - मल्टी-प्रोवाइडर समर्थन: OpenAI, Anthropic और Gemini API एंडप्ॉइंट्स के साथ संगत। - अनुरोध/प्रतिक्रिया परिवर्तन: स्वचालित रूप से समर्थित API मानकों के बीच डेटा प्रारूपों का अनुवाद करता है। - उन्नत मॉडल चयन: पूर्ण jq एक्सप्रेशन सिंटैक्स का उपयोग करके मॉडल चयन का समर्थन करता है, जिससे अनुरोध बॉडी के आधार पर शर्ती मार्गदर्शन संभव होता है। - राउटिंग रणनीतियाँ: भार-आधारित वितरण के साथ राउंड-रॉबिन, यादृच्छिक और न्यूनतम-कनेक्शन रणनीतियाँ लागू करता है। - त्रुटि हैंडलिंग: उपलब्धता प्रबंधन के लिए विफलता पर स्वचालित रूप से किसी मॉडल के भार को कम करता है। - कॉन्फ़िगरेशन: YAML फ़ाइल के माध्यम से प्रबंधित, जहाँ उपयोगकर्ता मॉडल सूची, API कुंजियाँ, बेस URL और राउटिंग ग्रुप परिभाषित कर सकते हैं।