このプロジェクトについて

ViMaxはHKUDSが開発したオープンソースのエージェント型動画生成フレームワークです。ナラティブ入力から最終動画出力までエンドツーエンドの動画制作パイプラインを自動化し、監督、脚本家、プロデューサー、動画生成者の役割を1つのワークフローに統合します。 主な機能: - Idea2Video:短いコンセプトを構造化されたストーリー、キャラクター、台本、ストーリーボード、ショット、完成動画に変換します。 - Script2Video:明確な台本からクリエイティブ意図を保ちながらコントロール可能なマルチシーン・マルチショット動画を変換します。 - Novel2Video:叙事圧縮、キャラクター追跡、シーン計画を通じて長編小説をエピソード形式のビジュアル物語に変換します。 - AutoCameo:参考写真から人物やペットを生成されたストーリーに配置し、外見の一貫性を維持します。 - Agent LoopおよびTUI:アイデアの議論、計画の見直し、セッションの再開、アーティファクトの確認、レンダリング制御などを行う対話式ワークスペースです。 - Web UI:名前付きプロジェクトの管理、エージェントとの会話、ファイルアップロード、アーティファクト閲覧、ストーリーボードプレビュー、プロバイダー設定を行うブラウザベースのインターフェースです。 - 一貫した制作パイプライン:リファレンス、最初のフレーム、カメラ連続性、最終編集をエンドツーエンドで調整します。 - 並列化生成:互換性のあるショットやメディアアセットを同時生成し、マルチショット動画制作を加速します。 OpenRouter、Google Omni、MiniMax、Seedance 2.0 Fast、GPT Image 2など複数のモデルプロバイダーをサポートしています。Python 3.12で構築され、環境管理にはuvを使用し、Web UIにはNode.js 18以上が必要です。MITライセンスで、LinuxおよびWindowsで動作します。