इस प्रोजेक्ट के बारे में

Unified LLM Engine एक Python लाइब्रेरी है जो OpenAI, Anthropic, Gemini, Azure, AWS Bedrock और Ollama सहित कई large language model (LLM) प्रदाताओं के साथ इंटरैक्शन को अब्सट्रैक्ट करती है। यह डेवलपर्स को कोड बदले बिना प्रदाताओं के बीच स्विच या कॉम्बिन करने की सुविधा देता है। मुख्य विशेषताओं में स्वचालित प्रदाता फॉलबैक (जब एक विफल हो जाए), रियल-टाइम लागत और टोकन उपयोग ट्रैकिंग, अतिरिक्त कॉल्स कम करने के लिए इंटेलिजेंट रिस्पॉन्स कैशिंग, रियल-टाइम आउटपुट के लिए स्ट्रीमिंग समर्थन, और हाई परफॉर्मेंस के लिए async-फर्स्ट डिज़ाइन शामिल हैं। इंजन मॉडल उपलब्धता, लोड और कॉन्फ़िगर किए गए प्राथमिकताओं के आधार पर अनुरोधों का इंटेलिजेंट राउटिंग करता है। उपयोगकर्ता API कुंजी के लिए एन्वायरनमेंट वेरिएबल्स के साथ इंजन को इनिशियलाइज़ कर सकते हैं और वैकल्पिक रूप से कैशिंग सक्षम कर सकते हैं या डिफ़ॉल्ट मॉडल सेट कर सकते हैं। प्रति मॉडल और सीज़न भर में एग्रीगेटेड लागत सारांश उपलब्ध हैं। आर्किटेक्चर कोर राउटिंग लॉजिक को व्यक्तिगत प्रदाता कार्यान्वयनों से अलग करता है, जिससे यह एक्सटेन्सिबल बनता है। उदाहरण और टेस्ट शामिल हैं, और प्रोजेक्ट MIT लाइसेंस का पालन करता है। यह उन ऐप्lications के लिए आदर्श है जिनमें LLM इंटीग्रेशन में रेसिलिएंस, लागत नियंत्रण या बहु-प्रदाता लचीलेपन की आवश्यकता होती है।