इस प्रोजेक्ट के बारे में

LLM Router एक प्रॉक्सी सर्वर और Python लाइब्रेरी है जो कई Large Language Model (LLM) प्रदाताओं को एक सिंगल एंडपॉइंट में एकीकृत करती है। यह उपयोगकर्ताओं को YAML फ़ाइल के माध्यम से कॉन्फ़िगरेशन प्रबंधित करके, API कीज़ या कोडबेस बदले बिना विभिन्न मॉडलों के साथ इंटरैक्ट करने की अनुमति देता है। मुख्य क्षमताओं में शामिल हैं: - **Multi-Provider Support**: Google, Cohere, Mistral, OpenRouter, Cerebras, Groq, Hugging Face, Kilo Code, llm7.io, और NVIDIA NIM सहित 10 प्रदाताओं के साथ आउट-ऑफ-द-बॉक्स एकीकरण। - **Intelligent Routing**: क्षमताओं (vision, tool use, आदि), कॉन्टेक्स्ट विंडो आकार और क्वालिटी मोड (quality, fast, cheap, या code) के आधार पर स्वचालित रूप से मॉडल का चयन करता है। - **Reliability Features**: एक्सपोनेंशियल बैकऑफ़ रिट्राइज़, विफलता होने पर वैकल्पिक मॉडलों पर ऑटोमैटिक फॉलबैक, और रेट-लिमिटेड कीज़ के लिए कूलडाउन के साथ की रोटेशन लागू करता है। - **OpenAI Compatibility**: इसमें एक लोकल सर्वर शामिल है जो OpenAI-संगत API प्रदान करता है, जिससे यह Void और Continue जैसे एडिटर्स के साथ संगत हो जाता है। - **Observability**: इतिहास और ऑडिटिंग के लिए सभी अनुरोधों और प्रतिक्रियाओं को एक लोकल SQLite डेटाबेस में लॉग करता है। - **Flexible Usage**: इसे एक स्टैंडअलोन लोकल सर्वर के रूप में उपयोग किया जा सकता है या सीधे Python प्रोजेक्ट्स में एक लाइब्रेरी के रूप में एकीकृत किया जा सकता है।