इस प्रोजेक्ट के बारे में

AI Gateway एक स्वचालित रूटिंग बुनियादी ढांचा है जो उत्पादन वातावरण में LLM उपयोग को इष्टतम बनाने के लिए बनाया गया है। यह इरादा वर्गीकरण, लागत दक्षता और वास्तविक समय प्रदाता स्वास्थ्य मेट्रिक्स के आधार पर प्रत्येक अनुरोध को सबसे उपयुक्त मॉडल पर गतिशील रूप से रूट करता है। यह सरल प्रश्नों के लिए महंगे मॉडलों पर पैसा खर्च न करने के लिए उन्हें सस्ता मॉडल पर रूट करता है और जटिल कार्यों के लिए शक्तिशाली तर्क मॉडलों को सहेजता है। Node.js और Express के साथ निर्मित, यह Groq और Google Gemini जैसे प्रदाताओं के साथ एकीकृत होता है, इरादा पहचान के लिए स्थानीय BGE एम्बेडिंग्स या होस्ट किए गए विकल्पों का उपयोग करता है। मुख्य विशेषताओं में दैनिक सीमा के साथ बहु-किरायेदार API कुंजी प्रबंधन, दो-स्तर कैशिंग (सटीक + अर्थपूर्ण), स्वचालित फेलओवर, और सस्ता से तर्क मॉडलों में आत्मविश्वास-आधारित अपग्रेडेशन शामिल हैं। स्वास्थ्य-जागरूक चयन Welford के एल्गोरिदम का उपयोग करके प्रति मॉडल विलंबता और विफलता दर ट्रैक करता है, जिससे गतिशील पुनर्निर्देशन संभव होता है। अवलोकनीयताएडमिन एंडपॉइंट्स के माध्यम से बिल्ट-इन है जो कैश हिट दर, विलंबता और प्रति-किरायेदार उपयोग दिखाते हैं। Redis को स्थायी डिस्क और कैशिंग के लिए उपयोग किया जाता है, जबकि विकास के लिए in-memory फॉलबैक उपलब्ध है। आर्किटेक्चर मॉड्यूलर, परीक्षण योग्य है, और Koyeb जैसे प्लेटफॉर्म पर Upstash Redis के साथ डिप्लॉय किया जा सकता है। यह न तो चैटबॉट है न ही सिंगल-मॉडल वेपर, बल्कि यह एक कंट्रोल प्लेन है जो विश्वसनीयता बढ़ाता है, लागत कम करता है, और AI मॉडल ऑपरेशन्स पर पूर्ण दृश्यता प्रदान करता है। ऐसे टीमों के लिए आदर्श है जो उत्पादन में कई LLMs प्रबंधित करती हैं जिन्हें कस्टम बुनियादी ढांचा बनाने के बिना बुद्धिमान रूटिंग, लचीलापन और किरायेदार-स्तरीय नियंत्रण की आवश्यकता होती है।