عن المشروع

LLM Router هو خادم وكيل ومكتبة Python تدمج العديد من مزودي النماذج اللغوية الكبيرة (LLM) في نقطة نهاية واحدة. وهو يتيح للمستخدمين التفاعل مع نماذج متنوعة دون تغيير مفاتيح API أو قواعد الكود من خلال إدارة التكوينات عبر ملف YAML. تشمل القدرات الرئيسية ما يلي: - دعم مزودين متعددين: تكامل جاهز مع 10 مزودين، بما في ذلك Google و Cohere و Mistral و OpenRouter و Cerebras و Groq و Hugging Face و Kilo Code و llm7.io و NVIDIA NIM. - التوجيه الذكي: يختار النماذج تلقائياً بناءً على القدرات (الرؤية، استخدام الأدوات، إلخ)، وحجم نافذة السياق، وأنماط الجودة (الجودة، السريع، الرخيص، أو الكود). - ميزات الموثوقية: ينفذ عمليات إعادة المحاولة بتراجع أسي، والرجوع التلقائي إلى نماذج بديلة عند الفشل، وتدوير المفاتيح مع فترات تهدئة للمفاتيح المحدودة بمعدل طلبات. - التوافق مع OpenAI: يتضمن خادماً محلياً يوفر واجهة برمجة تطبيقات (API) متوافقة مع OpenAI، مما يجعله متوافقاً مع محررات مثل Void و Continue. - القابلية للملاحظة: يسجل جميع الطلبات والاستجابات في قاعدة بيانات SQLite محلية للتاريخ والتدقيق. - استخدام مرن: يمكن استخدامه كخادم محلي مستقل أو دمجه مباشرة في مشاريع Python كمكتبة.