عن المشروع

LLM Router هو طبقة برمجية وسيطة تقع بين تطبيقك ومزود LLM (الافتراضي: Perplexity). يقوم بتصنيف المطالبات الواردة إلى مستويات بسيطة أو متوسطة أو معقدة بناءً على عدد الرموز (tokens) وإشارات الكلمات الرئيسية، ثم يوجه كل طلب إلى النموذج الأكثر فعالية من حيث التكلفة: sonar (بسيط)، أو sonar-pro (متوسط)، أو sonar-deep-research (معقد). يتم تسجيل كل طلب في PostgreSQL مع تفاصيل كاملة تشمل المطالبة، والاستجابة، والرموز، والتكلفة، وزمن الاستجابة، وسبب التوجيه، وعلامة المشروع الاختيارية. يوفر النظام API للتحليلات لملخصات التكاليف، وحسابات التوفير، وتفاصيل كل نموذج/يوم/مشروع. تقوم لوحة تحكم React بتصور اتجاهات الاستخدام، وتوزيع التكاليف، وسجلات الطلبات. يتكامل Grafana مع Prometheus للمقاييس في الوقت الفعلي. البنية التحتية مستقلة عن المزود — حيث يمكنك توصيل أي LLM API من خلال تنفيذ واجهة واحدة في `backend/services/providers/`. تم بناؤه باستخدام FastAPI و PostgreSQL و React و Docker Compose، ويتضمن بيانات عينة تجريبية، ونصوص عرض توضيحية، واختبارات. مصمم لأغراض التعلم ومعارض الأعمال؛ وليس جاهزاً للإنتاج. يتطلب تكوين الأسعار ومفاتيح API. عادة ما يكون التأثير على الأداء أقل من 50 مللي ثانية. يتضمن أماكن محجوزة للمصادقة، والتخزين المؤقت، وتعدد المستأجرين للتوسعات المستقبلية.