code2video

Code2Video é um projeto de pesquisa do Show Lab na Universidade Nacional de Singapura, aceito no ICML 2026, que gera vídeos educacionais a partir de pontos de conhecimento. Em vez de depender de modelos de texto-para-vídeo baseados em pixels, ele trata código executável como o meio tanto para a sequência temporal quanto para o layout espacial de um vídeo, usando Manim Community v0.19.0 para renderizar o resultado final. O framework é construído em torno de três agentes cooperativos. Um Planejador expande um ponto de conhecimento em um storyboard, um Codificador sintetiza código Manim depurável, e um Crítico refina layout e estética usando âncoras. O repositório observa que a melhor qualidade de código Manim foi alcançada com Claude-4-Opus, enquanto a otimização de layout e estética usa uma chave de API Gemini, com gemini-2.5-pro-preview-05-06 relatado como a configuração de melhor desempenho. Uma chave de API IconFinder opcional enriquece vídeos com ícones. Para começar, é necessário instalar dependências de src/requirements.txt e preencher credenciais de API em api_config.json. Dois scripts de shell cobrem os fluxos de trabalho principais: run_agent_single.sh gera um vídeo a partir de um único ponto de conhecimento passado na linha de comando, enquanto run_agent.sh executa todos ou um subconjunto de tópicos definidos em long_video_topics_list.json, com parâmetros para prefixo da pasta de saída, número máximo de conceitos e contagem de grupos paralelos. Casos gerados são organizados sob um diretório CASES por prefixo de pasta. O projeto também lança o benchmark MMMC, descrito como o primeiro benchmark para geração de vídeo dirigida por código, cobrindo 117 tópicos de aprendizado selecionados inspirados em 3Blue1Brown. A avaliação é organizada ao longo de três dimensões: transferência de conhecimento via eval_TQ.py, qualidade estética e estrutural via eval_AES.py, e métricas de eficiência como uso de tokens e tempo de execução. Dados adicionais e scripts de avaliação estão hospedados no Hugging Face. O README credita lições de 3Blue1Brown como fonte dos dados de vídeo e como referência para clareza e estética, e reconhece Manim Community, IconFinder e Icons8. Uma tradução chinesa do README é fornecida. O repositório é um código de pesquisa em vez de um aplicativo empacotado, então os usuários devem esperar configurar LLMs externos, VLMs e APIs de ativos por conta própria.