عن المشروع

LLM Router هو API متوافق مع OpenAI مصمم لتقليل التكاليف التشغيلية للنماذج اللغوية الكبيرة من خلال توجيه الطلبات تلقائياً بين نماذج مختلفة تشمل GLM وKimi وQwen وDoubao. باستخدام معرف النموذج "auto"، يختار النظام النموذج بناءً على نوع المهمة: حيث يتم توجيه المهام البسيطة إلى Doubao، والمهام المتوازنة إلى Qwen، ومهام الاستدلال المعقدة إلى Kimi أو GLM. تشمل القدرات الرئيسية ما يلي: - توجيه متعدد النماذج عبر مختلف المزودين. - تحسين التكلفة لتقليل الإنفاق على API. - API متوافق مع OpenAI لسهولة التكامل دون تغييرات كبيرة في الكود. - آليات تراجع تلقائية (fallback) للتعامل مع الإخفاقات. - اختيار ذكي للنموذج بناءً على المهمة.