इस प्रोजेक्ट के बारे में

AI Gateway एक हल्का, सेल्फ-होस्टेबल API गेटवे है जिसे OpenAI के इंटरफेस के साथ संगत होने के लिए डिज़ाइन किया गया है। यह उपयोगकर्ताओं को उनके अनुप्रयोगों द्वारा उपयोग किए जाने वाले विशिष्ट मॉडल नामों से मैप किए गए रूट परिभाषित करने की अनुमति देता है, और फिर तब तक कॉन्फ़िगर किए गए प्रदाताओं के बीच अनुरोधों का प्रयास करता है जब तक कि एक सफल न हो जाए — जिससे रेट लिमिट या आउटेज के कारण होने वाली विफलताओं को कम करने में मदद मिलती है। यह Docker डिप्लॉयमेंट, systemd सेवाओं और लोकल बाइनरी बिल्ड्स का समर्थन करता है। कॉन्फ़िगरेशन को एनवायरनमेंट वेरिएबल सब्स्टिट्यूशन के साथ YAML के माध्यम से प्रबंधित किया जाता है, जिससे लचीला प्रदाता सेटअप (जैसे, Cerebras, OpenRouter) और प्रति-रूट टाइमआउट सक्षम होते हैं। इसमें अनुकूलता सुधारों के लिए रिक्वेस्ट एडेप्टर (जैसे tool_choice रिलैक्सेशन या JSON स्कीमा इंजेक्शन), क्षणिक त्रुटियों पर एंडपॉइंट रोटेशन और डायग्नोस्टिक एंडपॉइंट शामिल हैं। प्रमाणीकरण के लिए API कीज़ का उपयोग किया जाता है; OTLP/HTTP के माध्यम से टेलीमेट्री वैकल्पिक है। सुरक्षा डिफॉल्ट्स में नॉन-रूट निष्पादन और रिडैक्टेड लॉग्स शामिल हैं। यह उन डेवलपर्स के लिए आदर्श है जो प्रदाता फॉलबैक पर लचीलापन और नियंत्रण बनाए रखते हुए n8n जैसे ऐप्स में LLMs को एकीकृत कर रहे हैं।