عن المشروع

VLMEvalKit (اسم حزمة بايثون vlmeval) هي مجموعة أدوات تقييم مفتوحة المصدر لنماذج الرؤية واللغة الكبيرة (LVLMs). غرضها المعلن هو تمكين الباحثين والمطورين من تشغيل تقييم بأمر واحد لنماذج LVLMs على العديد من المعايير دون إعداد البيانات بشكل منفصل لكل مستودع. يذكر README دعم أكثر من 220 نموذج LMM وأكثر من 80 معيارًا، تغطي واجهات برمجة التطبيقات التجارية والنماذج مفتوحة المصدر. منهج التقييم: تستخدم مجموعة الأدوات تقييمًا قائمًا على التوليد لجميع نماذج LVLMs وتوفر نتائج من كل من المطابقة الدقيقة واستخراج الإجابات بواسطة LLM. يشير README إلى أنها ليست مخصصة لإعادة إنتاج أرقام الدقة الدقيقة من الأوراق الأصلية للمعايير الخارجية، لأن بعض المعايير تستخدم أنماطًا مختلفة (على سبيل المثال التقييم القائم على PPL) ولأن قالب مطالبة افتراضي واحد يُستخدم عبر النماذج ما لم يتم تنفيذ قالب خاص بالنموذج. المحتوى المدعوم: يسرد README معايير الصور والفيديو (أكثر من 70 وفقًا لجدول الميزات) ونماذج LMM المدعومة (أكثر من 200)، بما في ذلك Qwen وInternVL وLLaVA وMiniCPM وOvis وGemini وKimi-VL وLLaMA4 وPhi وGrok وغيرها. تشمل الإضافات الحديثة المذكورة Video-MME-v2 وSeePhys وPhyX وInternVL3 وQwen2.5-VL وMMMU-Pro وCC-OCR وغيرها الكثير. البدء السريع: يعرض مثال قصير بلغة بايثون استيراد supported_VLM من vlmeval.config، وإنشاء نموذج مثل idefics_9b_instruct، واستدعاء generate بمسارات الصور بالإضافة إلى سؤال. يشير README أيضًا إلى أدلة البدء السريع والتطوير باللغتين الإنجليزية والصينية. نموذج التطوير: لإضافة نموذج، ينفذ المطور دالة generate_inner() واحدة؛ يتم التعامل مع تنزيل البيانات والمعالجة المسبقة واستدلال التنبؤ وحساب المقاييس بواسطة قاعدة الكود. يتم الاعتراف بمساهمات النماذج أو المعايير أو الميزات الرئيسية، وقد ينضم المساهمون الذين لديهم ثلاث مساهمات رئيسية أو أكثر إلى قائمة مؤلفي التقرير الفني. ملاحظات تشغيلية: يوصي README بإصدارات محددة من transformers لمجموعات نماذج مختلفة، بالإضافة إلى إرشادات torchvision وflash-attn. يوثق متغيرات البيئة لنماذج وضع التفكير (SPLIT_THINK)، والردود الطويلة (PRED_FORMAT=tsv لتجنب اقتطاع خلايا xlsx)، والاستدلال الموزع متعدد العقد عبر LMDeploy أو VLLM للنماذج واسعة النطاق أو نماذج التفكير. تُنشر نتائج التقييم على لوحات صدارة OpenVLM ومساحات Hugging Face، مع إمكانية تنزيل النتائج التفصيلية. يرتبط المشروع بورقة ACM Multimedia 2024 ومجتمع Discord.