इस प्रोजेक्ट के बारे में

AI Gateway एक ओपन-सोर्स टूल है जिसे एक एकल, एकीकृत API के माध्यम से कई लार्ज लैंग्वेज मॉडल (LLM) प्रोवाइडर्स तक पहुंच को सरल बनाने के लिए डिज़ाइन किया गया है। यह OpenAI, Gemini, Groq, Mistral और अन्य प्रोवाइडर्स के बीच अनुरोधों की रूटिंग का समर्थन करता है — जिसमें Ollama के माध्यम से स्थानीय मॉडल या परीक्षण के लिए मॉक रिस्पॉन्स शामिल हैं। मुख्य विशेषताओं में ऑटोमैटिक रिट्राइज़, फॉलबैक चेन्स, रेट लिमिटिंग और सबसे महत्वपूर्ण रूप से, हार्ड मंथली बजट कैप्स शामिल हैं जो निर्धारित सीमा तक पहुँचने के बाद आगे के खर्च को रोक देते हैं। सिस्टम में एक सरल-अंग्रेजी कॉस्ट डैशबोर्ड है जो वर्तमान उपयोग और अनुमान दिखाता है। इंस्टॉलेशन Docker Compose के माध्यम से सुव्यवस्थित है जिसमें वैकल्पिक सिंपल मोड (SQLite, बिना Redis के) या फुल स्टैक (Postgres + Redis) का विकल्प है। एक Python क्लाइंट सिंक्रोनस और एसिंक्रोनस दोनों इंटरफेस प्रदान करता है। सुरक्षा डिफॉल्ट्स प्रोडक्शन में डेमो कीज़ और मॉक प्रोवाइडर्स को तब तक अक्षम रखते हैं जब तक कि स्पष्ट रूप से अनुमति न दी गई हो। यह उन सोलो डेवलपर्स और छात्रों के लिए आदर्श है जो एंटरप्राइज जटिलता के बिना LiteLLM-शैली की लचीलापन चाहते हैं।