عن المشروع

LLMux هي بوابة مبنية بلغة Rust مصممة لإدارة العديد من مزودي النماذج اللغوية الكبيرة (LLM) من خلال واجهة برمجة تطبيقات (API) موحدة. وهي تركز على تقليل زمن الاستجابة والنفقات التشغيلية من خلال استخدام async Rust. تشمل القدرات الرئيسية ما يلي: - واجهة برمجة تطبيقات موحدة: توفر واجهة واحدة للتفاعل مع مزودين مثل OpenAI و Anthropic (Claude). - إدارة المفاتيح: تدعم التدوير التلقائي لمفاتيح API لتسهيل موازنة الحمل وتجنب قيود معدل الاستخدام. - التحكم في حركة المرور: تطبق تحديد معدل الطلبات والحصص بناءً على عدد الطلبات في الدقيقة واستخدام الرموز (Tokens) للمدخلات والمخرجات. - القابلية للملاحظة: تتضمن مقاييس Prometheus مدمجة لمراقبة الاستخدام والأداء. - تعيين النماذج: تسمح بتكوين نماذج مختلفة لحالات استخدام محددة، مثل 'default' و 'fast' و 'premium'.