इस प्रोजेक्ट के बारे में

LLMux एक Rust-आधारित गेटवे है जिसे एक एकीकृत API के माध्यम से कई लार्ज लैंग्वेज मॉडल (LLM) प्रदाताओं को प्रबंधित करने के लिए डिज़ाइन किया गया है। यह async Rust का उपयोग करके लेटेंसी और ओवरहेड को कम करने पर ध्यान केंद्रित करता है। मुख्य क्षमताओं में शामिल हैं: - Unified API: OpenAI और Anthropic (Claude) जैसे प्रदाताओं के साथ इंटरैक्ट करने के लिए एक एकल इंटरफ़ेस प्रदान करता है। - Key Management: लोड बैलेंसिंग की सुविधा देने और रेट लिमिट से बचने के लिए API keys के स्वचालित रोटेशन का समर्थन करता है। - Traffic Control: प्रति मिनट अनुरोधों और टोकन उपयोग (इनपुट/आउटपुट) के आधार पर रेट लिमिटिंग और कोटा लागू करता है। - Observability: उपयोग और प्रदर्शन की निगरानी के लिए बिल्ट-इन Prometheus metrics शामिल हैं। - Model Mapping: विशिष्ट उपयोग के मामलों के लिए अलग-अलग मॉडल कॉन्फ़िगर करने की अनुमति देता है, जैसे कि 'default', 'fast', और 'premium'।