প্রকল্প সম্পর্কে

ডিপ ভিডিও ডিসকভারি (DVD) হলো দীর্ঘ-ফর্মের ভিডিও বোঝার জন্য এজেন্টিক অনুসন্ধান এবং টুল ব্যবহার সংক্রান্ত একটি গবেষণা পত্রের অফিসিয়াল কোড রিলিজ। সিস্টেমটি খুব দীর্ঘ ভিডিও সম্পর্কে জটিল প্রশ্নের উত্তর দেওয়ার জন্য ডিজাইন করা হয়েছে, যেখানে বিভক্ত ক্লিপগুলিকে একটি অনুসন্ধান পরিবেশ হিসেবে ব্যবহার করা হয়। একটি এলএলএম-চালিত এজেন্ট তার পদ্ধতি পরিকল্পনা করে, ভিডিওর প্রাসঙ্গিক অংশ পরিদর্শনের জন্য মাল্টি-গ্রানুলারিটি টুল নির্বাচন করে, পর্যবেক্ষণগুলির সারসংক্ষেপ তৈরি করে, সেগুলোর ওপর প্রতিফলন করে এবং একটি চূড়ান্ত উত্তর তৈরি করে। রিপোজিটরিটি একটি পাইথন ইমপ্লিমেন্টেশন সরবরাহ করে যেখানে pip-এর মাধ্যমে নির্ভরতা ইনস্টল করা যায় এবং কনফিগারেশন config.py-তে করা যায়। অন্তর্ভুক্ত local_run.py উদাহরণটি একটি ইউটিউব URL এবং একটি প্রাকৃতিক-ভাষার প্রশ্ন গ্রহণ করে। এটি OpenAI এবং Azure OpenAI API, একটি Gradio ডেমো, স্বয়ংক্রিয় সাবটাইটেল এবং একটি lite_mode সমর্থন করে যা শুধুমাত্র সাবটাইটেল ব্যবহার করে, যা প্রকল্পটি ইউটিউব পডকাস্ট বিশ্লেষণের জন্য উপযুক্ত হিসেবে বর্ণনা করে। প্রজনন ও মূল্যায়নের জন্য, প্রকল্পটিতে LVBench-এর জন্য REPRODUCE.md এবং LVBench, Video-MME, LongVideoBench, এবং EgoSchema-এর জন্য ক্যাপশন ডেটার লিঙ্ক অন্তর্ভুক্ত রয়েছে, যার মধ্যে ট্রান্সক্রিপ্ট সহ একটি LVBench বৈকল্পিকও রয়েছে। README-তে OpenAI o3 ব্যবহার করে বেশ কয়েকটি দীর্ঘ-ভিডিও বেঞ্চমার্কে অত্যাধুনিক ফলাফলের কথা জানানো হয়েছে। রিপোজিটরিতে তালিকাভুক্ত পরিকল্পিত কাজের মধ্যে রয়েছে একটি MCP সার্ভার এবং মূল্যায়ন ট্রাজেক্টোরি ডেটার প্রকাশ। কোডটি MIT লাইসেন্সের অধীনে প্রকাশিত হয়েছে।