code2video

Code2Video es un proyecto de investigación del Show Lab de la Universidad Nacional de Singapur, aceptado en ICML 2026, que genera videos educativos a partir de puntos de conocimiento. En lugar de depender de modelos de texto a video basados en píxeles, trata el código ejecutable como el medio tanto para la secuenciación temporal como para el diseño espacial de un video, usando Manim Community v0.19.0 para renderizar el resultado final. El marco se construye alrededor de tres agentes cooperativos. Un Planificador expande un punto de conocimiento en un guion gráfico, un Codificador sintetiza código Manim depurable, y un Crítico refina el diseño y la estética usando anclas. El repositorio señala que la mejor calidad de código Manim se logró con Claude-4-Opus, mientras que la optimización de diseño y estética usa una clave de API de Gemini, con gemini-2.5-pro-preview-05-06 reportado como la configuración de mejor rendimiento. Una clave de API opcional de IconFinder enriquece los videos con iconos. Para comenzar, se requiere instalar dependencias desde src/requirements.txt y completar las credenciales de API en api_config.json. Dos scripts de shell cubren los flujos de trabajo principales: run_agent_single.sh genera un video desde un único punto de conocimiento pasado en la línea de comandos, mientras que run_agent.sh ejecuta todos o un subconjunto de temas definidos en long_video_topics_list.json, con parámetros para el prefijo de la carpeta de salida, el número máximo de conceptos y el número de grupos paralelos. Los casos generados se organizan bajo un directorio CASES por prefijo de carpeta. El proyecto también publica el benchmark MMMC, descrito como el primer benchmark para generación de video impulsada por código, que cubre 117 temas de aprendizaje curados inspirados en 3Blue1Brown. La evaluación se organiza en tres dimensiones: transferencia de conocimiento mediante eval_TQ.py, calidad estética y estructural mediante eval_AES.py, y métricas de eficiencia como uso de tokens y tiempo de ejecución. Datos adicionales y scripts de evaluación están alojados en Hugging Face. El README acredita las lecciones de 3Blue1Brown como fuente de los datos de video y como referencia de claridad y estética, y agradece a Manim Community, IconFinder e Icons8. Se proporciona una traducción al chino del README. El repositorio es un código base de investigación más que una aplicación empaquetada, por lo que los usuarios deben esperar configurar LLM, VLM y activos de API externos ellos mismos.