عن المشروع

LLM Router هو خادم مصمم لتوجيه طلبات واجهة برمجة التطبيقات المتوافقة مع OpenAI عبر مزودي LLM المختلفين. يوفر واجهة موحدة ويتعامل مع تحويل الطلبات والردود بين تنسيقات OpenAI وAnthropic وGemini. القدرة الرئيسية تشمل: - دعم متعدد المزودين: متوافق مع نقاط نهاية واجهة برمجة التطبيقات لـ OpenAI وAnthropic وGemini. - تحويل الطلبات والردود: يترجم تلقائيًا تنسيقات البيانات بين معايير واجهة برمجة التطبيقات المدعومة. - اختيار النماذج المتقدم: يدعم اختيار النماذج باستخدام صيغة التعبير jq الكاملة، مما يسمح بالتوجيه الشرطي بناءً على جسم الطلب. - استراتيجيات التوجيه: يطبق استراتيجيات الدوران المنتظم والعشوائي وأقل اتصال مع توزيع قائم على الوزن. - معالجة الأخطاء: يقلل تلقائيًا من وزن النموذج عند الفشل لإدارة التوفر. - التكوين: يُدار عبر ملف YAML حيث يمكن للمستخدمين تعريف قوائم النماذج ومفاتيح API وروابط الأساس ومجموعات التوجيه.