इस प्रोजेक्ट के बारे में

Omni Gateway Local एक हल्के वजन वाला API गेटवे है जिसे कई बड़े भाषा मॉडल (LLM) प्रदाताओं के साथ इंटरैक्शन को सरल बनाने के लिए डिज़ाइन किया गया है। यह /v1/chat/completions पर एकल, मानकीकृत OpenAI-अनुकूलित इंटरफ़ेस प्रस्तुत करता है, जिससे डेवलपर्स एक ही क्लाइंट कोड का उपयोग कर सकते हैं, चाहे मूल मॉडल स्थानीय रूप से चल रहा हो (जैसे Ollama के माध्यम से) या दूरस्थ रूप से (जैसे OpenAI, Anthropic, Gemini)। गेटवे अनुरोध में 'model' पैरामीटर के आधार पर गतिशील रूप से अनुरोधों को मार्ग प्रदान करता है। FastAPI और LiteLLM पर निर्मित, यह Server-Sent Events (SSE) के माध्यम से स्ट्रीमिंग का समर्थन करता है और न्यूनतम सेटअप की आवश्यकता होती है: pip के माध्यम से स्थापित करें, API कुंजियों के लिए पर्यावरण चर सेट करें, और सर्वर शुरू करें। विभिन्न मॉडल्स के साथ प्रयोग करने वाले डेवलपर्स, स्थानीय AI एप्लिकेशन बनाने या प्रदाता-विशिष्ट API पर अमूर्तिकरण खोजने के लिए आदर्श। MIT लाइसेंस प्राप्त।