عن المشروع

Route67 هو نظام توجيه خفيف لنماذج LLM مصمم لواجهات OpenAI-compatible chat completion APIs. يتيح للمستخدمين تحديد جدول توجيه يربط الاستفسارات باللغة الطبيعية بنماذج مستهدفة (على سبيل المثال: 'أثبت هذه النظرية' ← 'strong_model'). عند التشغيل، يتم مطابقة الاستفسارات الواردة مع جدول التوجيه باستخدام تشابه جيب التمام (cosine similarity) الذي يتم حسابه بواسطة نموذج sentence transformer. إذا لم يتجاوز أي تطابق عتبة قابلة للتكوين، يعمل 'weak model' محدد كحارس بوابة: حيث يقوم إما بالإجابة مباشرة أو التصعيد إلى نموذج أقوى بناءً على تقديره. يدعم النظام أي مزود متوافق مع OpenAI (مثل OpenRouter) من خلال حقن عميل مخصص. يتم تمرير أسماء النماذج في تكوين التوجيه دون تغيير، مما يسمح بتبديل الواجهة الخلفية بمرونة دون تعديل منطق التوجيه. كما يتم الحفاظ على خيارات الطلب الخاصة بالمزود (مثل extra_body) وحقول الاستجابة (مثل reasoning_details). تشير إدخالات جدول التوجيه فقط إلى "weak_model" أو "strong_model"؛ بينما توجد معرفات النماذج الفعلية في كائنات ModelSpec. يتم حقن ملاحظات الاستخدام من ModelSpec في موجه النظام (system prompt) الخاص بالنموذج الضعيف لتوجيه سلوك التصعيد. يتم تنزيل نموذج التضمين (minishlab/potion-base-8M) بشكل كسول عند الاستخدام الأول. يتضمن المستودع أدوات قياس لتقييم دقة التوجيه وحساسية العتبة باستخدام مجموعات بيانات اصطناعية. هذه الأدوات مخصصة للتطوير والضبط، وليست جزءاً من تثبيت PyPI القياسي. يتطلب التثبيت Python 3.10+ ويمكن القيام به عبر pip أو uv. يوضح الكود النموذجي الإعداد الأدنى باستخدام متغيرات البيئة ومنطق التوجيه الأساسي.