عن المشروع

LLM Router هو بوابة API مرنة وفعالة مصممة لتوزيع الطلبات عبر عدة مزودين لنماذج اللغة الكبيرة (LLM) ومفاتيح API مختلفة. تم تطويره بلغة Go، وهو يعمل كبديل مباشر لنقطة نهاية إكمال الدردشة في OpenAI. تشمل القدرات الرئيسية موازنة الحمل الذكية بناءً على الاستخدام، واختيار النماذج المرجح لتحسين التكلفة، والقدرة على تحديد مجموعات نماذج منطقية يتم تعيينها لمزودين أساسيين متعددين مثل OpenAI و OpenRouter. كما يدعم البث الكامل عبر أحداث الخادم المرسلة (SSE)، وضغط الاستجابة، ومراقبة الأداء التفصيلية، وتتبع مقاييس مثل الوقت حتى الوصول لأول رمز (TTFT) والرموز في الثانية. يتعامل الموجه أيضًا مع إدارة مفاتيح API لضمان التكرارية والتخفيف من قيود معدل الاستخدام، مما يوفر طبقة مصادقة آمنة وتوافقًا مع OpenAI's Responses API.