इस प्रोजेक्ट के बारे में

AI Gateway एक उच्च प्रदर्शन और स्केलेबल AI मॉडल API गेटवे है जो विभिन्न बड़े मॉडल सेवाओं तक पहुंच के लिए एक समान कॉल एंट्री पॉइंट प्रदान करता है। यह OpenAI API फॉर्मैट के साथ संगत है, जिससे डेवलपर्स को एक ही कोडसेट से OpenAI, Anthropic (Claude), 通义千问 (DashScope), Ollama सहित कई प्रदाताओं से जुड़ने की सुविधा मिलती है। यह Chat, Vision, Image Generation, Speech-to-Text, Text-to-Speech, Embeddings जैसे सभी मोडालिटी फीचर्स का समर्थन करता है। सिस्टम Go + Gin पर निर्मित है, उच्च कनेक्सीटाइटी हैंडलिंग क्षमता रखता है, और स्टेटलेस डिजाइन के कारण होराइजंटल स्केलिंग का समर्थन करता है। इसमें इनबिल्ट Prometheus मेट्रिक्स, स्ट्रक्श्चर्ड लॉगिंग, रिक्वेस्ट ट्रैकिंग, टोकन बॉक्स रेट लिमिटिंग, और API Key कोटा मैनेजमेंट शामिल हैं। साथ ही MySQL/PostgreSQL स्टोरेज बैकएंड और मेमोरी/Redis कैशिंग का भी समर्थन करता है। हेल्थ चेक, API Key प्रबंधन, उपयोग स्टैटिस्टिक्स जैसी सुविधाएं प्रदान करता है, जो उद्योगों या व्यक्तियों को निजी AI सेवा तैनात करने में सहायक होती हैं। प्रोजेक्ट स्ट्रक्चर स्पष्ट है, जिससे डेवलपर्स के लिए नए Provider जोड़ना आसान होता है। यह उन परिदृश्यों के लिए उपयुक्त है जहां कई AI सेवाओं तक एकीकृत रूप से एक्सेस करने और ट्रैफिक कंट्रोल, मॉनिटोरिंग तथा लागत प्रबंधन की आवश्यकता होती है।