عن المشروع

LLMHub هي خدمة وكيل عكسي مصممة لواجهات برمجة التطبيقات المتوافقة مع OpenAI. وهي تتيح للمستخدمين تجميع العديد من مزودي واجهات برمجة التطبيقات العلوية (upstream) في نقطة دخول واحدة، مع إدارة المصادقة وتوجيه الطلبات عبر ملف تكوين YAML. تشمل القدرات الرئيسية ما يلي: - تجميع المزودين: دعم العديد من المزودين العلويين مع عناوين URL أساسية مخصصة وإعدادات وكيل HTTP اختيارية. - إدارة مفاتيح API: القدرة على تحديد مفاتيح API مخصصة للمستخدمين في الاتجاه السفلي (downstream) وإدارة مفاتيح علوية متعددة لتحقيق توازن الحمل. - توجيه مرن: قواعد توجيه تربط طلبات الاتجاه السفلي بمزودين محددين بناءً على أسماء النماذج أو مجموعات النماذج المحددة مسبقاً. - أسماء مستعارة للنماذج: دعم تعيين أسماء مستعارة بسيطة لأسماء النماذج الأصلية المعقدة. - الموثوقية: آليات إعادة محاولة قابلة للتكوين للطلبات العلوية الفاشلة.