इस प्रोजेक्ट के बारे में

Inja LLM Gateway बड़े भाषा मॉडल प्रदाताओं के लिए एक हल्का, निर्भरता-मुक्त API गेटवे है। यह OpenAI Chat Completions, Anthropic Messages, या मूल Gemini डायलेक्ट में अनुरोध स्वीकार करता है और उन्हें किसी भी कॉन्फ़िगर किए गए अपस्ट्रीम प्रदाता—जिसमें OpenAI, Anthropic, Google, DeepSeek, xAI, Moonshot, OpenRouter, vLLM, और अन्य शामिल हैं—तक रूट करता है। समान-डायलेक्ट ट्रैफ़िक लगभग शब्द-दर-शब्द पास-थ्रू होता है; क्रॉस-डायलेक्ट अनुरोध स्वचालित रूप से अनुवादित होते हैं, जो संरचित आउटपुट, टूल उपयोग और थिंकिंग ब्लॉक्स का समर्थन करते हैं। गेटवे पूरी तरह से स्टेटलेस है, जिसमें कोई डेटाबेस, सत्र, या स्टिकी रूटिंग नहीं है, जिससे समान प्रतिकृतियों को स्केल करना सरल हो जाता है। यह macOS, Linux, और Windows के लिए एक एकल स्थिर बाइनरी के रूप में आता है, और Docker तथा Kubernetes डिप्लॉयमेंट मैनिफेस्ट शामिल करता है। एकमात्र रनटाइम निर्भरता gopkg.in/yaml.v3 है। मुख्य क्षमताओं में चार प्रदाता प्रकारों (openai, openai_compat, anthropic, google) के साथ बहु-प्रदाता ईग्रेस, मॉडल उपनाम और रूटिंग, साझा रहस्यों के साथ वैकल्पिक एज प्रमाणीकरण, OAuth2 और सेवा-खाता टोकन स्रोत, और /ui पर एक अंतर्निहित ऑपरेटर डैशबोर्ड शामिल हैं। उपयोग मीटरिंग प्रति प्रॉक्सी अनुरोध पर एक इवेंट उत्सर्जित करती है, जो JSONL, एसिंक वेबहुक, वैकल्पिक SQLite, या इन-प्रोसेस Go हुक के माध्यम से होती है। गेटवे एम्बेडिंग, इमेज जनरेशन, वीडियो जॉब्स, टेक्स्ट-टू-स्पीच, स्पीच-टू-टेक्स्ट, OpenAI Responses, Files, Batches, Moderations, और Realtime WebSocket सत्रों (केवल समान-प्रोटोकॉल पास-थ्रू) का भी समर्थन करता है। कॉन्फ़िगरेशन एक एकल YAML फ़ाइल है जिसमें पर्यावरण-चर ओवरराइड हैं। हेल्थ चेक, Prometheus मेट्रिक्स, बॉडी-साइज़ सीमाएँ, और ग्रेसफुल शटडाउन अंतर्निहित हैं। परियोजना AGPL-3.0 के तहत लाइसेंस प्राप्त है।