इस प्रोजेक्ट के बारे में

LLM Router एक ड्रॉप-इन OpenAI-संगत API है जिसे GLM, Kimi, Qwen और Doubao सहित विभिन्न मॉडलों के बीच अनुरोधों को स्वचालित रूप से रूट करके LLM परिचालन लागत को कम करने के लिए डिज़ाइन किया गया है। मॉडल पहचानकर्ता "auto" का उपयोग करके, सिस्टम कार्य के प्रकार के आधार पर एक मॉडल का चयन करता है: सरल कार्यों को Doubao पर, संतुलित कार्यों को Qwen पर, और जटिल तर्क कार्यों को Kimi या GLM पर रूट किया जाता है। मुख्य क्षमताओं में शामिल हैं: - विभिन्न प्रदाताओं के बीच मल्टी-मॉडल रूटिंग। - API खर्च को कम करने के लिए लागत अनुकूलन। - बिना किसी महत्वपूर्ण कोड परिवर्तन के आसान एकीकरण के लिए OpenAI-संगत API। - विफलताओं को संभालने के लिए स्वचालित फॉलबैक तंत्र। - कार्य-आधारित स्मार्ट मॉडल चयन।