عن المشروع

llm-failover-proxy يوفر نقطة نهاية محلية واحدة (متوافقة مع OpenAI) تدير سلسلة ذات أولوية من مزودي LLM. إذا فشل النموذج الأساسي بسبب حدود المعدل أو الأخطاء أو مهلات الوقت، يقوم الوكيل بالتبديل بشكل غير مرئي إلى النموذج التالي المتاح في السلسلة دون مقاطعة التطبيق. القدرات الرئيسية تشمل: - السباق المتوازي: إذا كان النموذج المفضل بطيئًا في الاستجابة (الافتراضي 5 ثوان)، يطلب الوكيل النموذج التالي بالتوازي، ويقبل أول إجابة صالحة لتقليل الكمون. - قوائم النماذج: يدعم عدة قوائم مسماة لأغراض مختلفة، مثل سلاسل منفصلة للدردشة والتمثيلات المتجهية. - إدارة المزودين: يتضمن واجهة مستخدم طرفية لتكوين مفاتيح API، وإدارة أولوية النماذج، ومراقبة إحصاءات الأداء. - مراقبة الصحة: يوفر نقاط نهاية (/health, /stats) للتحقق من نشاط الخدمة وتتبع معدلات النجاح/الفشل لكل نموذج. - التشغيل في الخلفية: يمكن تثبيته كخدمة خلفية تبدأ تلقائيًا عند تسجيل الدخول على أنظمة Windows و macOS و Linux. - التوافق: يدعم البث، واستدعاء الأدوات/الدوال، والرؤية، ووضع JSON عن طريق تمريرها مباشرة إلى المزودين.