عن المشروع

LLM-Router هو بوابة جاهزة للإنتاج مصممة لتوحيد مختلف مزودي النماذج اللغوية الكبيرة (LLM) في واجهة برمجة تطبيقات موحدة ومتوافقة مع OpenAI. يتيح للمطورين التبديل بين مزودين مثل OpenAI وDeepSeek وAnthropic، أو النماذج المحلية مثل Ollama، دون الحاجة لتغيير الكود على جانب العميل. تم بناء النظام على بنية غير متزامنة تتميز بتجميع الاتصالات، وتخزين الطلبات مؤقتاً في ذاكرة التخزين المؤقت، وتدفق الاستجابات في الوقت الفعلي عبر أحداث Server-Sent Events (SSE). تشمل الميزات الرئيسية على مستوى المؤسسات: مصادقة مفاتيح API، وتقييد معدل الطلبات، والتحقق من الطلبات، وإعادة التحميل الساخنة للتكوين الديناميكي. للمراقبة والصيانة، يوفر فحوصات صحية مدمجة، ومعدّلات Prometheus، وتسجيل هيكلي. يتم تبسيط النشر من خلال حاويات Docker وملفات تعريف Kubernetes، ما يجعله مناسبًا لبيئات الإنتاج ذات الأحمال العالية.