code2video

Code2Videoは、シンガポール国立大学のShow Labによる研究プロジェクトで、ICML 2026に採択され、知識ポイントから教育動画を生成する。ピクセルベースのテキストから動画へのモデルに依存するのではなく、実行可能なコードを動画の時間的シーケンスと空間的レイアウトの両方の媒体として扱い、Manim Community v0.19.0を使用して最終結果をレンダリングする。 このフレームワークは、協調して動作する3つのエージェントを中心に構築されている。Plannerは知識ポイントをストーリーボードに展開し、Coderはデバッグ可能なManimコードを合成し、Criticはアンカーを使用してレイアウトと美観を洗練させる。リポジトリによると、最高のManimコード品質はClaude-4-Opusで達成され、レイアウトと美観の最適化にはGemini APIキーが使用され、gemini-2.5-pro-preview-05-06が最も優れた構成として報告されている。オプションのIconFinder APIキーを使用すると、動画にアイコンを追加できる。 開始するには、src/requirements.txtから依存関係をインストールし、api_config.jsonにAPI認証情報を入力する必要がある。2つのシェルスクリプトが主要なワークフローをカバーしている。run_agent_single.shはコマンドラインで渡された単一の知識ポイントから動画を生成し、run_agent.shはlong_video_topics_list.jsonで定義されたすべてまたは一部のトピックを実行する。出力フォルダのプレフィックス、最大コンセプト数、並列グループ数のパラメータがある。生成されたケースは、CASESディレクトリの下にフォルダプレフィックスごとに整理される。 このプロジェクトは、コード駆動型動画生成の最初のベンチマークとされるMMMCベンチマークも公開している。3Blue1Brownに触発された117の厳選された学習トピックをカバーしている。評価は3つの次元で構成されている。eval_TQ.pyによる知識伝達、eval_AES.pyによる美観と構造の品質、トークン使用量や実行時間などの効率性指標である。追加のデータと評価スクリプトはHugging Faceでホストされている。 READMEでは、3Blue1Brownのレッスンを動画データのソースとして、また明瞭さと美観の基準としてクレジットし、Manim Community、IconFinder、Icons8にも謝辞を述べている。READMEの中国語翻訳も提供されている。このリポジトリはパッケージ化されたアプリケーションではなく研究用コードベースであるため、ユーザーは外部のLLM、VLM、アセットAPIを自分で設定する必要がある。