इस प्रोजेक्ट के बारे में

यह प्रोजेक्ट एकीकृत REST API प्रदान करता है जो कई AI सेवा प्रदाताओं — जिसमें Ollama, OpenAI, Google Gemini, और Hugging Face शामिल हैं — को एक समान इंटरफ़ेस के पीछे सारांशित करता है। यह डेवलपर्स को क्लाइंट कोड बदले बिना प्रदाताओं को स्विच या संयोजित करने की सुविधा देता है। API टेक्स्ट जेनरेशन, चैट कंप्लीशन, इमेज‑आधारित प्रॉम्प्ट (मल्टीमॉडल), और एम्बेडिंग्स को सपोर्ट करती है। विशेषताओं में API कुंजी द्वारा वैकल्पिक प्रमाणीकरण, रीयल‑टाइम स्ट्रीमिंग प्रतिक्रियाएँ, स्वचालित प्रदाता रूटिंग, और स्वचालित रूप से उत्पन्न OpenAPI दस्तावेज़ीकरण शामिल हैं। इसे Docker Compose या स्थानीय Python निष्पादन के माध्यम से आसान डिप्लॉयमेंट के लिए डिज़ाइन किया गया है। कॉन्फ़िगरेशन पर्यावरण वेरिएबल्स के माध्यम से प्रबंधित होता है, जिससे व्यक्तिगत प्रदाताओं को टॉगल किया जा सकता है और मॉडल‑विशिष्ट पैरामीटर सेट किए जा सकते हैं। सिस्टम स्वास्थ्य जांच और मॉडल सूचीकरण एन्डपॉइंट्स भी प्रदान करता है। विस्तारणीय आर्किटेक्चर नई प्रदाताओं को जोड़ने की अनुमति देता है। मैनेजमेंट कमांड (Makefile के माध्यम से) लाइफ़साइकल ऑपरेशन्स जैसे स्टार्ट, स्टॉप, लॉग्स, और शेल एक्सेस को सरल बनाते हैं। MIT लाइसेंस।