इस प्रोजेक्ट के बारे में

LLM Gateway एक एकीकृत प्रॉक्सी सर्वर है जिसे कई Large Language Model (LLM) प्रदाताओं के साथ इंटरैक्शन को सरल बनाने के लिए डिज़ाइन किया गया है। यह एक एकल, OpenAI-संगत एंडपॉइंट प्रदान करता है जो OpenAI, OpenRouter, Google Gemini और Ollama जैसे स्थानीय इंस्टेंस सहित विभिन्न बैकएंड्स पर अनुरोधों को रूट करता है। इसकी मुख्य क्षमताओं में एक ऑटोमैटिक फॉलबैक मैकेनिज्म शामिल है जो प्राथमिक प्रदाता के विफल होने पर वैकल्पिक प्रदाताओं का प्रयास करता है, जिससे उच्च उपलब्धता सुनिश्चित होती है। गेटवे अत्यधिक उपयोग को रोकने के लिए प्रति API कुंजी रेट लिमिटिंग भी लागू करता है और विभिन्न प्रदाताओं में कुल अनुरोधों, सफलता दर और टोकन खपत को ट्रैक करने के लिए एक व्यापक मेट्रिक्स एंडपॉइंट प्रदान करता है। इसे Docker के माध्यम से आसान परिनियोजन के लिए डिज़ाइन किया गया है और यह केवल बेस URL को अपडेट करके मौजूदा OpenAI क्लाइंट कॉन्फ़िगरेशन के लिए एक ड्रॉप-इन रिप्लेसमेंट के रूप में कार्य कर सकता है। समर्थित सुविधाओं में चैट कम्पलीशन्स, एम्बेडिंग्स और मॉडल लिस्टिंग शामिल हैं, जिसमें कॉन्फ़िगर करने योग्य फॉलबैक चेन और प्रति-मिनट अनुरोध सीमाएं दी गई हैं।