عن المشروع

Deep Video Discovery (DVD) هو الإصدار الرسمي للكود الخاص بورقة بحثية حول البحث القائم على العوامل واستخدام الأدوات لفهم الفيديو الطويل. صُمم النظام للإجابة عن أسئلة معقدة حول مقاطع فيديو طويلة جدًا من خلال معالجة المقاطع المجزأة كبيئة استكشاف. يخطط العامل المدعوم بنموذج لغوي كبير (LLM) لنهجه، ويختار أدوات متعددة الدقة لفحص الأجزاء ذات الصلة من الفيديو، ويلخص الملاحظات، ويتأمل فيها، ويبني إجابة نهائية. يوفر المستودع تطبيقًا بلغة بايثون مع تثبيت التبعيات عبر pip والتكوين في config.py. يتضمن المثال local_run.py عنوان URL ليوتيوب وسؤالًا بلغة طبيعية. كما يدعم واجهات برمجة تطبيقات OpenAI وAzure OpenAI، وعرضًا توضيحيًا باستخدام Gradio، وترجمة تلقائية، ووضع lite_mode الذي يستخدم الترجمة فقط، والذي يصفه المشروع بأنه مناسب لتحليل بودكاست يوتيوب. لإعادة الإنتاج والتقييم، يتضمن المشروع ملف REPRODUCE.md لـ LVBench وروابط لبيانات الترجمة لـ LVBench وVideo-MME وLongVideoBench وEgoSchema، بما في ذلك متغير LVBench مع النصوص. يبلغ ملف README عن نتائج متطورة على عدة معايير فيديو طويلة باستخدام OpenAI o3. تشمل الأعمال المخطط لها المدرجة في المستودع خادم MCP وإصدار بيانات مسار التقييم. تم إصدار الكود بموجب ترخيص MIT.