عن المشروع

LLM Router هو تطبيق مكتبي محلي يعمل كوكيل ذكي بين عملاء الذكاء الاصطناعي (مثل Claude Code و Cursor و Codex CLI) ومختلف مزودي LLM بما في ذلك OpenAI و Anthropic و Google Gemini و DeepSeek. هدفه الأساسي هو تقليل تكاليف واجهة برمجة التطبيقات (API) من خلال الحفاظ على "ثبات" المحادثة مع مزود واحد، مما يضمن الحفاظ على خصومات تخزين المطالبات المؤقت أثناء المحادثات الطويلة. يوفر التطبيق نقطة نهاية API محلية موحدة (localhost:11411) ويدعم تنسيقات طلبات كل من OpenAI و Anthropic. تشمل القدرات الرئيسية ما يلي: - تحسين التكاليف: تتبع الرموز (tokens) المستخدمة، والأموال التي تم إنفاقها، والمدخرات التي تم تحقيقها من خلال إصابات التخزين المؤقت (cache hits). - التوجيه الذكي: قواعد قابلة للتخصيص لتوجيه الطلبات بناءً على أسماء النماذج، أو طول المطالبة، أو توفر المزود. - الشفافية: ميزة "Routing Explain" التي توضح بالتفصيل سبب اختيار نموذج معين والبدائل التي تم النظر فيها. - التكامل السهل: ميزة "App Takeover" بنقرة واحدة لأدوات محددة مثل Claude Code و Codex CLI لأتمتة التكوين. - الخصوصية: بنية تعتمد على الأولوية للمحلي باستخدام قاعدة بيانات SQLite مدمجة؛ يتم تخزين مفاتيح API محلياً ولا تغادر الجهاز أبداً. - دعم الأنظمة المتعددة: متاح لأنظمة macOS و Windows و Linux.