عن المشروع

إن LLM Gateway هو خادم وكيل موحد مصمم لتبسيط التفاعلات مع العديد من مزودي النماذج اللغوية الكبيرة (LLM). فهو يوفر نقطة نهاية واحدة متوافقة مع OpenAI تقوم بتوجيه الطلبات إلى خلفيات متنوعة تشمل OpenAI وOpenRouter وGoogle Gemini، بالإضافة إلى المثيلات المحلية مثل Ollama. وتشمل القدرات الرئيسية آلية تبديل تلقائي (fallback) تحاول استخدام مزودين بدلاء في حال فشل المزود الأساسي، مما يضمن توفرًا عاليًا للخدمة. كما يطبق البوابة نظام تحديد معدل الطلبات (rate limiting) لكل مفتاح API لمنع الاستخدام المفرط، ويوفر نقطة نهاية شاملة للمقاييس لتتبع إجمالي الطلبات، ومعدلات النجاح، واستهلاك الرموز (tokens) عبر مختلف المزودين. تم تصميم النظام لسهولة النشر عبر Docker، ويمكن أن يعمل كبديل مباشر لتكوينات عملاء OpenAI الحالية بمجرد تحديث عنوان URL الأساسي. وتشمل الميزات المدعومة إكمال الدردشة (chat completions)، والتضمينات (embeddings)، وقائمة النماذج، مع سلاسل تبديل قابلة للتكوين وحدود لعدد الطلبات في الدقيقة.