इस प्रोजेक्ट के बारे में

Azure AI Proxy एक हल्का, मॉड्यूलर सर्वर है जो एक Azure OpenAI-संगत API इंटरफ़ेस प्रदान करता है, जबकि अनुरोधों को LiteLLM के माध्यम से DeepSeek, MIMO, Anthropic, Ollama और कस्टम एंडपॉइंट्स सहित प्रदाताओं के बैकएंड मॉडल तक रूट करता है। यह डेवलपर्स को उन टूल्स और IDEs (जैसे GitHub Copilot के साथ JetBrains) के भीतर गैर-Azure LLMs का उपयोग करने में सक्षम बनाता है जो Azure OpenAI फॉर्मेट की अपेक्षा करते हैं। यह प्रॉक्सी चैट पूर्णता (chat completions), एम्बेडिंग्स, लीगेसी पूर्णता, मॉडल लिस्टिंग और परिनियोजन प्रबंधन का समर्थन करता है। मुख्य विशेषताओं में YAML के माध्यम से मल्टी-मॉडल कॉन्फ़िगरेशन, UI संगतता के लिए मॉडल पहचान इम्यूलेशन, keepalive और टाइमआउट हैंडलिंग के साथ उन्नत स्ट्रीमिंग, टूल कॉल सैनिटाइजेशन, ग्रेसफुल एरर मैपिंग, डिबग लॉगिंग और वैकल्पिक API कुंजी प्रमाणीकरण शामिल हैं। इंस्टॉलेशन विकल्पों में pip, Windows/macOS/Linux के लिए वन-लाइनर स्क्रिप्ट, या Docker शामिल हैं। कॉन्फ़िगरेशन को एक सरल config.yaml फ़ाइल के माध्यम से प्रबंधित किया जाता है जो होस्ट, पोर्ट, टाइमआउट, लॉगिंग और API कुंजियों, बेस URL और टोकन सीमाओं सहित प्रति-मॉडल मापदंडों को परिभाषित करता है। प्रोजेक्ट संरचना स्पष्ट रूप से मॉड्यूलर है जिसमें प्रत्येक एंडपॉइंट प्रकार के लिए हैंडलर और auth, CORS और लॉगिंग के लिए मिडलवेयर हैं। इसे केवल aiohttp, litellm और pyyaml डिपेंडेंसी की आवश्यकता होती है। यह प्रॉक्सी GPL v3 के तहत लाइसेंस प्राप्त है और CarmJos द्वारा बनाए रखा गया है, जिसमें GitHub Sponsors या ifdian.net के माध्यम से समर्थन को प्रोत्साहित किया गया है।