इस प्रोजेक्ट के बारे में

Laravel LLM Relay, Laravel एप्लिकेशन्स में कई लार्ज लैंग्वेज मॉडल प्रोवाइडर्स — विशेष रूप से Claude, GPT (OpenAI), और Gemini — के साथ इंटरैक्ट करने के लिए एक एकल, सुसंगत इंटरफ़ेस प्रदान करता है। यह एक कॉन्फ़िगर करने योग्य चेन में रिट्राइंग या अगले उपलब्ध प्रोवाइडर पर फॉलबैक करके प्रोवाइडर विफलताओं को स्वचालित रूप से संभालता है, जिससे यह सुनिश्चित होता है कि यदि एक सेवा डाउन है तब भी आपके AI फीचर्स उपलब्ध रहें। प्रत्येक प्रतिक्रिया में सफल प्रोवाइडर, उपयोग किए गए कुल टोकन और मिलीसेकंड में लेटेंसी जैसे मेटाडेटा शामिल होते हैं, जो लागत निगरानी और प्रदर्शन विश्लेषण को सक्षम बनाते हैं। यह पैकेज सरल प्रॉम्प्ट्स, सिस्टम निर्देशों के साथ मल्टी-टर्न बातचीत और डिपेंडेंसी इंजेक्शन का समर्थन करता है। यह Http::fake() के माध्यम से परीक्षण के लिए Laravel के HTTP क्लाइंट के साथ सहजता से एकीकृत होता है। कॉन्फ़िगरेशन को एनवायरनमेंट वेरिएबल्स और वैकल्पिक प्रकाशित कॉन्फ़िगरेशन फ़ाइलों के माध्यम से प्रबंधित किया जाता है। यदि प्रोवाइडर्स की API कीज़ सेट नहीं हैं, तो उन्हें छोड़ दिया जाता है, और आप बिना फॉलबैक के किसी विशिष्ट प्रोवाइडर को फोर्स कर सकते हैं। Laravel के लॉगिंग चैनलों के माध्यम से प्रत्येक अनुरोध (प्रोवाइडर, टोकन, लेटेंसी) की लॉगिंग समर्थित है। प्रोडक्शन उपयोग के लिए डिज़ाइन किया गया यह पैकेज सामान्य समस्याओं का समाधान करता है: प्रोवाइडर अस्थिरता, विकसित होते मॉडल प्राथमिकताएं और लागत पारदर्शिता। यह MIT लाइसेंस के तहत उपलब्ध है।