عن المشروع

LLM Router هي خدمة خلفية مبنية بـ FastAPI مصممة لتوجيه مطالبات المستخدمين ديناميكيًا إلى نموذج لغة كبير (LLM) الأنسب بين OpenAI وGoogle Gemini وMistral. تقوم بتقييم النماذج باستخدام نظام نقاط يوازن بين الفائدة والتكلفة والموثوقية — وليس الأداء الخام فحسب. يدعم النظام ثلاثة أوضاع للتوجيه: كامل تلقائي (النظام يختار أفضل نموذج)، ونصف تلقائي (المستخدم يختار المزود، والنظام يختار النموذج)،ويديوي (يحدد المستخدم الاثنين). يتضمن نظام الاسترجاع المعزز بالتوليد (RAG) مدعومًا من تضمينات Mistral واسترجاع جيب التمام، ويدعم ملفات .txt و.md و.pdf. يمكن للمستخدمين تحميل المستندات عبر /upload ومسح البيانات عبر /clear-data. يحتفظ كل مستخدم بذاكرة محادثة مكونة من دورين لاستجابات واعية بالسياق. يفصل الهندسة المعمارية بين اتخاذ القرار والتنفيذ: منطق التوجيه يختار النموذج، بينما تتعامل وحدات العميل مع استدعاءات API الفعلية. يتم إلغاء تأهيل النماذج إذا تجاوزت حدود الرموز. تتضمن الاستجابات بيانات تعريفية مثل المزود والنموذج ومستوى الثقة والرموز المستخدمة وتقدير التكلفة. يدعم WebSocket البث في الوقت الفعلي. تشمل الخطط المستقبلية ضبط التغذية الراجعة، وتكامل LLM المحلي، واختبار A/B. المشروع قيد التطوير بنشاط، مع تنفيذ الميزات الأساسية مثل التوجيه الواعي بالنية، وتحسين التكلفة، وRAG.