عن المشروع

llm-voucher-gateway هو تطبيق متخصص يعمل كوكيل عكسي لخوادم vLLM (نموذج لغة كبير جدًا). وظيفته الأساسية هي إضافة طبقة أمان وتحكم بالوصول من خلال تنفيذ مصادقة تستند إلى الرموز قبل وصول الطلبات إلى البنية التحتية لخدمة النموذج الأساسية. هذه الأداة مفيدة بشكل خاص للمنظمات التي تنشر نماذج لغة كبيرة حيث لا يكون من المرغوب فيه عرض نقطة نهاية vLLM مباشرة. من خلال الوقوف أمام خادم vLLM، يتحقق البوابة من الطلبات الواردة مقابل مجموعة من الرموز أو الشهادات. يتم توجيه الطلبات المصادق عليها فقط إلى خادم النموذج، بينما يتم رفض المحاولات غير المصرح بها. الميزات الرئيسية تشمل: - **وظيفة الوكيل العكسي**: ينقل بشكل شفاف طلبات API الصالحة إلى خلفية vLLM. - **المصادقة القائمة على الرموز**: يضمن أن العملاء الذين يمتلكون رموزًا صالحة فقط يمكنهم التفاعل مع خدمة LLM. - **طبقة الأمان**: تحمي خادم vLLM من الوصول المباشر غير المصادق عليه، مما يقلل سطح الهجوم. يتناسب هذا الحل جيدًا مع إعدادات البنية التحتية التي تتطلب وصولًا متحكمًا به إلى نماذج الذكاء الاصطناعي التوليدي، مما يتيح للمسؤولين إدارة الاستخدام عبر إصدار الرموز بدلاً من الاعتماد فقط على القيود على مستوى الشبكة.