deepvideodiscovery

Deep Video Discovery (DVD) es el lanzamiento oficial del código para un artículo de investigación sobre búsqueda agentiva y uso de herramientas para la comprensión de videos de formato largo. El sistema está diseñado para responder preguntas complejas sobre videos muy largos tratando los clips segmentados como un entorno de exploración. Un agente impulsado por LLM planifica su enfoque, selecciona herramientas de granularidad múltiple para inspeccionar partes relevantes del video, resume observaciones, reflexiona sobre ellas y construye una respuesta final. El repositorio proporciona una implementación en Python con instalación de dependencias a través de pip y configuración en config.py. El ejemplo incluido local_run.py acepta una URL de YouTube y una pregunta en lenguaje natural. También admite las APIs de OpenAI y Azure OpenAI, una demostración de Gradio, subtítulos automáticos y un modo ligero que solo usa subtítulos, que el proyecto describe como adecuado para el análisis de podcasts de YouTube. Para la reproducción y evaluación, el proyecto incluye REPRODUCE.md para LVBench y enlaces a datos de subtítulos para LVBench, Video-MME, LongVideoBench y EgoSchema, incluyendo una variante de LVBench con transcripciones. El README informa resultados de última generación en varios puntos de referencia de videos largos utilizando OpenAI o3. El trabajo planificado listado en el repositorio incluye un servidor MCP y la publicación de datos de trayectorias de evaluación. El código se publica bajo la licencia MIT.