deepvideodiscovery

Deep Video Discovery (DVD) é o lançamento oficial do código de um artigo de pesquisa sobre busca agêntica e uso de ferramentas para compreensão de vídeos longos. O sistema foi projetado para responder a perguntas complexas sobre vídeos muito longos tratando clipes segmentados como um ambiente de exploração. Um agente orientado por LLM planeja sua abordagem, seleciona ferramentas de multigranularidade para inspecionar partes relevantes do vídeo, resume observações, reflete sobre elas e elabora uma resposta final. O repositório fornece uma implementação em Python com instalação de dependências por meio do pip e configuração no config.py. O exemplo local_run.py incluído aceita uma URL do YouTube e uma pergunta em linguagem natural. Ele também oferece suporte às APIs OpenAI e Azure OpenAI, uma demonstração Gradio, legendas automáticas e um lite_mode que usa apenas legendas, descrito pelo projeto como adequado para análise de podcasts do YouTube. Para reprodução e avaliação, o projeto inclui REPRODUCE.md para o LVBench e links para dados de legendas de LVBench, Video-MME, LongVideoBench e EgoSchema, incluindo uma variante do LVBench com transcrições. O README relata resultados estado da arte em vários benchmarks de vídeo longo usando o OpenAI o3. Os trabalhos planejados listados no repositório incluem um servidor MCP e o lançamento de dados de trajetória de avaliação. O código é lançado sob a licença MIT.