عن المشروع

هذا بروكسي توجيه محلي حتمي لنماذج LLM يقبل طلبات OpenAI وAnthropic API ويوجهها إلى النموذج المتاح الأمثل بناءً على تسجيل نقاط قابل للتكوين وقائم على القواعد — دون عشوائية أو قرارات تعتمد على LLM في الحلقة. يدعم عدة خلفيات بما في ذلك OpenRouter (مزود سحابي شامل)، وoMLX (نماذج Apple Silicon المحلية)، وOllama، ومزودي السحابة المباشرين مثل OpenAI وGroq وGemini وغيرها. يقوم النظام بتقييم كل طلب باستخدام نظام خبراء مكون من أربع مراحل: تحليل الملف الشخصي، التصفية الصارمة (السياق، الوسائط، الخصوصية، سقف السعر)، تسجيل النقاط المرجح (التكلفة، زمن الاستجابة، مساحة السياق المتاحة، التفضيل، الجودة)، وحقن العلامات الخاصة بالمزود. يمكن للمستخدمين الاختيار من بين ستة ملفات تعريف مدمجة (مثل: رخيص، سريع، خاص، ذكي، محلي) أو تحديد ملفات مخصصة عبر الإعدادات. كما يمكن توجيه كل طلب على حدة عبر الرؤوس (headers) أو حقول الجسم (body). يتضمن البروكسي واجهة ويب لساحة تجربة الدردشة، وكتالوج النماذج، وشرح التوجيه، وإحصائيات الاستخدام، والسجلات؛ بالإضافة إلى تطبيق إدارة أصلي لشريط القوائم في macOS للتكوين عبر واجهة رسومية. يتعامل النظام مع أخطاء المزودين من خلال التراجع إلى القائمة المصنفة، ويقوم ببث استجابات SSE مباشرة. تشمل الميزات التدوير التلقائي لمفاتيح OpenRouter، وتنقيح الأسرار (DLP)، وربط الملفات الشخصية بمفاتيح API، وتسجيل الجودة عبر Artificial Analysis. يتوفر دعم Docker مع تكوين مستمر وسجل SQLite. لا يدعم إعادة التحميل السريع — يتطلب إعادة التشغيل بعد تغييرات التكوين. تم بناؤه بلغة Rust مع صناديق (crates) نمطية للتكوين، والمنطق الأساسي، والمزودين، وأدوات الإدارة.