इस प्रोजेक्ट के बारे में

Azure OpenAI Proxy एक राउटर है जिसे विभिन्न LLM API वर्ज़न को एक सामान्य OpenAI-संगत इंटरफेस के अनुकूल बनाने के लिए डिज़ाइन किया गया है। यह क्लाइंट और Azure OpenAI इंस्टेंस के बीच प्रबंधन की एक परत प्रदान करता है ताकि उच्च उपलब्धता और नियंत्रित उपयोग सुनिश्चित किया जा सके। मुख्य क्षमताओं में शामिल हैं: - **Routing & Load Balancing**: यह failover, weighted और round-robin सहित राउटिंग रणनीतियों के साथ कई Azure OpenAI इंस्टेंस का समर्थन करता है। - **Traffic Control**: यह Tokens Per Minute (TPM) के आधार पर स्वचालित रेट लिमिटिंग लागू करता है। - **Instance Management**: यह इंस्टेंस को जोड़ने, अपडेट करने, हटाने और सत्यापित करने के साथ-साथ उनके स्वास्थ्य और प्रदर्शन मेट्रिक्स की निगरानी करने के लिए API एंडपॉइंट्स का एक व्यापक सेट प्रदान करता है। - **Configuration Flexibility**: यह एक पदानुक्रमित कॉन्फ़िगरेशन सिस्टम (YAML, environment variables और SQLite) का उपयोग करता है जिसमें सेवा रीस्टार्ट किए बिना hot-reloading का समर्थन मिलता है। - **Persistence & Reliability**: यह स्टेट मैनेजमेंट और कॉन्फ़िगरेशन पर्सिस्टेंस के लिए SQLite का उपयोग करता है, जिसमें वर्ज़न हिस्ट्री, रोलबैक क्षमताएं और बैकअप एवं हेल्थ चेक के लिए समर्पित रखरखाव उपयोगिताओं शामिल हैं। - **API Compatibility**: यह chat completions, completions और embeddings के लिए मानक OpenAI एंडपॉइंट्स का समर्थन करता है।