Об этом проекте

Code2Video — исследовательский проект лаборатории Show Lab Национального университета Сингапура, принятый на ICML 2026, который генерирует обучающие видео из знаний. Вместо опоры на пиксельные модели текст-в-видео он использует исполняемый код как средство как для временной последовательности, так и для пространственной компоновки видео, применяя Manim Community v0.19.0 для рендеринга финального результата. Фреймворк построен вокруг трёх взаимодействующих агентов. Planner разворачивает знание в раскадровку, Coder синтезирует отлаживаемый код Manim, а Critic уточняет компоновку и эстетику с помощью якорей. В репозитории отмечено, что наилучшее качество кода Manim было достигнуто с Claude-4-Opus, тогда как для оптимизации компоновки и эстетики используется ключ API Gemini, причём gemini-2.5-pro-preview-05-06 указан как наиболее эффективная конфигурация. Необязательный ключ API IconFinder обогащает видео иконками. Для начала работы требуется установить зависимости из src/requirements.txt и заполнить учётные данные API в api_config.json. Два shell-скрипта охватывают основные рабочие процессы: run_agent_single.sh генерирует видео из одного знания, переданного в командной строке, а run_agent.sh запускает все или подмножество тем, определённых в long_video_topics_list.json, с параметрами для префикса папки вывода, максимального числа концепций и количества параллельных групп. Сгенерированные случаи организуются в каталоге CASES по префиксу папки. Проект также выпускает бенчмарк MMMC, описываемый как первый бенчмарк для генерации видео на основе кода, охватывающий 117 отобранных учебных тем, вдохновлённых 3Blue1Brown. Оценка организована по трём измерениям: передача знаний через eval_TQ.py, эстетическое и структурное качество через eval_AES.py, а также метрики эффективности, такие как использование токенов и время выполнения. Дополнительные данные и скрипты оценки размещены на Hugging Face. В README указано, что уроки 3Blue1Brown послужили источником видеоданных и ориентиром для ясности и эстетики, а также выражена благодарность Manim Community, IconFinder и Icons8. Предоставлен перевод README на китайский язык. Репозиторий представляет собой исследовательскую кодовую базу, а не упакованное приложение, поэтому пользователям следует ожидать самостоятельной настройки внешних API для LLM, VLM и ресурсов.