عن المشروع

LLM Router هو تطبيق FastAPI مصمم ليعمل كوكيل موحد لعدة واجهات خلفية للذكاء الاصطناعي مع الحفاظ على التوافق الكامل مع OpenAI Chat Completions API. وهو يتيح للمطورين توجيه الطلبات عبر مزودين مختلفين — بما في ذلك OpenAI و Cerebras و DeepInfra ومثيلات Ollama المحلية — باستخدام نظام قائم على الأولويات مع ميزة الانتقال التلقائي عند الفشل. تشمل القدرات الرئيسية ما يلي: - توجيه متعدد الواجهات الخلفية: التبديل بسلاسة بين خدمات الذكاء الاصطناعي المختلفة بناءً على التوفر والأولوية. - التوافق مع OpenAI: يعمل كبديل مباشر للتطبيقات الحالية القائمة على OpenAI بمجرد تغيير عنوان URL الأساسي. - ميزات المرونة: تنفيذ الانتقال التلقائي إلى الواجهات الخلفية الثانوية في حال فشل الخدمة الأساسية أو الوصول إلى حدود معدل الطلبات. - إدارة حركة المرور: يتميز بنظام مدمج لتحديد معدل الطلبات باستخدام خوارزمية النافذة المنزلقة ويدعم مفاتيح API متعددة للمصادقة. - المراقبة والإحصائيات: يوفر نقاط نهاية مخصصة لفحوصات الحالة، وحالة الواجهة الخلفية، ومقاييس الاستخدام. - تكوين مرن: يدعم الإعداد القائم على البيئة أو قواعد التوجيه المتقدمة القائمة على JSON. تعتبر هذه الأداة مفيدة بشكل خاص للمطورين الذين يتطلعون إلى زيادة موثوقية تطبيقاتهم المدعومة بالذكاء الاصطناعي من خلال تنويع مزودي النماذج دون تغيير الكود المصدري الخاص بهم.