इस प्रोजेक्ट के बारे में

openai-shim एक हल्की, डिपेंडेंसी-मुक्त पायथन लाइब्रेरी है जिसे OpenAI चैट पूर्ति प्रारूप में उनके API का अनुवाद करके कई LLM प्रदाताओं तक पहुंच को एकीकृत करने के लिए डिज़ाइन किया गया है। यह Anthropic, Ollama और कस्टम एंडपॉइंट्स जैसे प्रदाताओं के बीच फेलओवर का समर्थन करता है — स्वचालित रूप से स्विच करता है यदि कोई रेट लिमिट, त्रुटियों या खाली प्रतिक्रियाओं के कारण विफल हो जाता है। लाइब्रेरी API संरचना में अंतर (जैसे, लापता भूमिकाएं, टोकन गणना, स्ट्रीमिंग व्यवहार) को संभालती है ताकि आपके कोड को अनुकूलित होने की आवश्यकता न हो। आप किसी भी एंडपॉइंट के लिए कस्टम एडाप्टर परिभाषित कर सकते हैं — यहां तक कि सादे-पाठ HTTP सेवाओं के लिए भी — और अनुरोधों को प्राथमिकता सूचीबद्ध प्रदाताओं के माध्यम से मार्गदर्शित कर सकते हैं। इसमें स्ट्रीमिंग, टोकन अनुमान, मॉडल निवृत्ति ट्रैकिंग और दृष्टि/उपकरण क्षमता फ़िल्टरिंग के लिए अंतर्निर्मित समर्थन भी शामिल है। यह बिना क्लाइंट लॉजिक को पुनर्लेखित किए हुए लचीले बहु-प्रदाता गेटवे या LLM कॉल्स को प्रॉक्सी करने के लिए आदर्श है। शुद्ध मानक लाइब्रेरी पायथन में लिखी गई, यह मॉक ट्रांसपोर्ट के साथ व्यापक रूप से परीक्षण की गई है और उत्पादन उपयोग के लिए उपयुक्त है।