Об этом проекте

Deep Video Discovery (DVD) — официальный выпуск кода исследовательской работы об агентном поиске и использовании инструментов для понимания длинных видео. Система предназначена для ответа на сложные вопросы по очень длинным видео, рассматривая сегментированные клипы как среду для исследования. Агент на основе LLM планирует свой подход, выбирает инструменты разной гранулярности для проверки релевантных частей видео, обобщает наблюдения, рефлексирует над ними и формирует окончательный ответ. Репозиторий содержит реализацию на Python с установкой зависимостей через pip и настройкой в config.py. Включённый пример local_run.py принимает ссылку YouTube и вопрос на естественном языке. Также поддерживаются API OpenAI и Azure OpenAI, демо Gradio, автоматические субтитры и режим lite_mode, использующий только субтитры, который, по описанию проекта, подходит для анализа подкастов YouTube. Для воспроизведения и оценки проект включает REPRODUCE.md для LVBench и ссылки на данные подписей для LVBench, Video-MME, LongVideoBench и EgoSchema, включая вариант LVBench с транскриптами. В README сообщается о результатах уровня state-of-the-art на нескольких бенчмарках длинных видео с использованием OpenAI o3. В число запланированных работ в репозитории входят MCP-сервер и выпуск данных траекторий оценки. Код выпущен под лицензией MIT.