llm-failover-proxy

llm-failover-proxy एक एकल स्थानीय एंडपॉइंट (OpenAI-संगत) प्रदान करता है जो LLM प्रदाताओं की प्राथमिकता क्रमबद्ध श्रृंखला को प्रबंधित करता है। यदि प्राथमिक मॉडल दर सीमाओं, त्रुटियों या टाइमआउट के कारण विफल हो जाता है, तो प्रॉक्सी अनुप्रयोग को बाधित किए बिना श्रृंखला में अगले उपलब्ध मॉडल पर अदृश्य रूप से स्विच कर देता है। मुख्य क्षमताएँ शामिल हैं: - समानांतर रेसिंग: यदि पसंदीदा मॉडल धीमा प्रतिक्रिया देता है (डिफ़ॉल्ट 5 सेकंड), तो प्रॉक्सी समानांतर में अगले मॉडल को अनुरोध भेजता है, और पहले उपयोगी उत्तर को स्वीकार करके लेटेंसी को न्यूनतम करता है। - मॉडल सूचियाँ: विभिन्न उद्देश्यों के लिए कई नामित सूचियों का समर्थन करता है, जैसे चैट और एम्बेडिंग्स के लिए अलग-अलग श्रृंखलाएँ। - प्रदाता प्रबंधन: API कुंजियों को कॉन्फ़िगर करने, मॉडल प्राथमिकता प्रबंधित करने और प्रदर्शन आँकड़े मॉनिटर करने के लिए एक टर्मिनल UI शामिल है। - स्वास्थ्य मॉनिटरिंग: सेवा की जीवंतता जाँचने और प्रत्येक मॉडल के सफलता/विफलता दर को ट्रैक करने के लिए एंडपॉइंट (/health, /stats) प्रदान करता है। - बैकग्राउंड ऑपरेशन: इसे बैकग्राउंड सेवा के रूप में स्थापित किया जा सकता है जो Windows, macOS और Linux पर सिस्टम लॉगिन पर स्वचालित रूप से शुरू हो जाता है। - संगतता: स्ट्रीमिंग, टूल/फ़ंक्शन कॉलिंग, विज़न और JSON मोड को सीधे प्रदाताओं तक पास करके समर्थन करता है।