عن المشروع

إن Smart SLM Router هو وكيل محلي غير متزامن مصمم لتقليل تكاليف واجهة برمجة التطبيقات (API) من خلال توجيه طلبات LLM بذكاء. وهو متوافق تماماً مع مواصفات OpenAI API، مما يسمح له بأن يكون بديلاً مباشراً لتطبيقات OpenAI SDK الحالية عن طريق تحديث عنوان URL الأساسي. تشمل القدرات الرئيسية ما يلي: - تصنيف النوايا محلياً: يستخدم استدلالات الطول، وأنماط regex للرموز (tokens)، ومؤشرات استدعاء الأدوات لاتخاذ قرار التوجيه في أقل من 15 مللي ثانية دون التسبب في تأخير في الشبكة. - التوجيه الديناميكي: يوجه الاستعلامات البسيطة إلى نماذج SLMs (على سبيل المثال، عبر Ollama أو vLLM) ويرفع الاستعلامات المعقدة أو التقنية أو متعددة الخطوات إلى نماذج المستوى الأول الرائدة (مثل GPT-4o و Claude). - التراجع الشفاف (Transparent Fallback): يقوم تلقائياً بإعادة محاولة الطلبات وتصعيدها إلى نموذج رائد إذا أرجع نموذج SLM فشلاً في الاتصال، أو رفضاً من النموذج، أو خطأً في تحليل JSON. - دعم كامل لواجهة برمجة التطبيقات: يدعم الاستجابات غير المتدفقة والمتدفقة (SSE). - القابلية للمراقبة: يوفر نقطة نهاية `/metrics` لتتبع توفير التكاليف بالدولار الأمريكي في الوقت الفعلي، وعدد الطلبات، وزمن استجابة القرار. تم بناء النظام باستخدام Python 3.12+ و FastAPI، مع استخدام متغيرات البيئة لتكوين عناوين URL للخلفية، وأسماء النماذج، وعتبات الرموز (token thresholds).