প্রকল্প সম্পর্কে

VLMEvalKit (পাইথন প্যাকেজ নাম vlmeval) হল বৃহৎ ভিশন-ল্যাঙ্গুয়েজ মডেল (LVLM) মূল্যায়নের জন্য একটি ওপেন-সোর্স টুলকিট। এর উদ্দেশ্য হল গবেষক ও ডেভেলপারদের প্রতিটি রিপোজিটরির জন্য আলাদাভাবে ডেটা প্রস্তুত না করেই এক-কমান্ডে অনেক বেঞ্চমার্কে LVLM মূল্যায়ন চালাতে দেওয়া। README-তে ২২০+ LMM এবং ৮০+ বেঞ্চমার্ক সমর্থনের কথা বলা হয়েছে, যার মধ্যে বাণিজ্যিক API এবং ওপেন-সোর্স মডেল রয়েছে। মূল্যায়ন পদ্ধতি: টুলকিটটি সকল LVLM-এর জন্য জেনারেশন-ভিত্তিক মূল্যায়ন ব্যবহার করে এবং এক্সাক্ট ম্যাচিং ও LLM-ভিত্তিক উত্তর নিষ্কাশন উভয় থেকে ফলাফল প্রদান করে। README-তে উল্লেখ করা হয়েছে যে এটি তৃতীয়-পক্ষ বেঞ্চমার্কের মূল গবেষণাপত্রের হুবহু অ্যাকুরেসি সংখ্যা পুনরুৎপাদনের উদ্দেশ্যে নয়, কারণ কিছু বেঞ্চমার্ক ভিন্ন প্যারাডাইম ব্যবহার করে (যেমন PPL-ভিত্তিক মূল্যায়ন) এবং মডেল-নির্দিষ্ট টেমপ্লেট বাস্তবায়িত না হলে সকল মডেলে একটি ডিফল্ট প্রম্পট টেমপ্লেট ব্যবহৃত হয়। সমর্থিত বিষয়বস্তু: README-তে ইমেজ ও ভিডিও বেঞ্চমার্ক (ফিচার টেবিল অনুযায়ী ৭০+) এবং সমর্থিত LMM (২০০+) তালিকাভুক্ত রয়েছে, যার মধ্যে Qwen, InternVL, LLaVA, MiniCPM, Ovis, Gemini, Kimi-VL, LLaMA4, Phi, Grok এবং অন্যান্য রয়েছে। সাম্প্রতিক সংযোজনের মধ্যে উল্লেখ রয়েছে Video-MME-v2, SeePhys, PhyX, InternVL3, Qwen2.5-VL, MMMU-Pro, CC-OCR এবং আরও অনেক। কুইকস্টার্ট: একটি সংক্ষিপ্ত পাইথন ডেমোতে vlmeval.config থেকে supported_VLM ইমপোর্ট করা, idefics_9b_instruct-এর মতো একটি মডেল ইনস্ট্যানশিয়েট করা এবং ইমেজ পাথ ও প্রশ্নসহ generate কল করা দেখানো হয়েছে। README-তে ইংরেজি ও চীনা ভাষায় কুইকস্টার্ট এবং ডেভেলপমেন্ট গাইডের লিঙ্কও রয়েছে। ডেভেলপমেন্ট মডেল: একটি মডেল যোগ করতে ডেভেলপারকে একটি মাত্র generate_inner() ফাংশন বাস্তবায়ন করতে হয়; ডেটা ডাউনলোড, প্রিপ্রসেসিং, প্রেডিকশন ইনফারেন্স এবং মেট্রিক গণনা কোডবেস দ্বারা পরিচালিত হয়। মডেল, বেঞ্চমার্ক বা বড় ফিচারের অবদান স্বীকৃত হয় এবং তিন বা ততোধিক বড় অবদানকারী প্রযুক্তিগত প্রতিবেদনের লেখক তালিকায় যুক্ত হতে পারেন। অপারেশনাল নোট: README-তে বিভিন্ন মডেল পরিবারের জন্য নির্দিষ্ট transformers সংস্করণ এবং torchvision ও flash-attn নির্দেশনা সুপারিশ করা হয়েছে। এতে থিংকিং-মোড মডেলের জন্য এনভায়রনমেন্ট ভেরিয়েবল (SPLIT_THINK), দীর্ঘ প্রতিক্রিয়ার জন্য (xlsx সেল ট্রাঙ্কেশন এড়াতে PRED_FORMAT=tsv) এবং LMDeploy বা VLLM-এর মাধ্যমে মাল্টি-নোড ডিস্ট্রিবিউটেড ইনফারেন্সের ডকুমেন্টেশন রয়েছে। মূল্যায়ন ফলাফল OpenVLM লিডারবোর্ড এবং Hugging Face স্পেসে প্রকাশিত হয়, বিস্তারিত ফলাফল ডাউনলোডযোগ্য। প্রকল্পটি একটি ACM Multimedia 2024 গবেষণাপত্র এবং একটি Discord কমিউনিটির সাথে যুক্ত।