Об этом проекте

LingBot-World — это открытый симулятор мира и фреймворк генерации видео, построенный на архитектуре Wan2.2. Он предназначен для продвижения открытых мировых моделей, предлагая высокоточную симуляцию, надежную динамику в различных визуальных стилях (таких как реализм, научные контексты и мультфильмы) и долговременную согласованность памяти на горизонтах уровня минут. Модель поддерживает интерактивность в реальном времени, достигая низкой задержки (менее 1 секунды) при 16 кадрах в секунду. Ключевые особенности: - **Высокая точность и разнообразие сред**: способна моделировать сложные среды в различных визуальных областях. - **Долговременная память и согласованность**: сохраняет контекстуальную согласованность на длинных видеогоризонтах. - **Интерактивность в реальном времени**: поддерживает интерактивное управление с низкой задержкой, подходит для игр, создания контента и обучения роботов. - **Гибкие управляющие сигналы**: может управляться позами камеры, последовательностями действий или удобными строками действий (например, командами движения и направления камеры), а также работать безусловно. Модели и инструменты: - **LingBot-World-Base (Cam)**: модель с управлением позой камеры, доступна в разрешениях 480P и 720P. - **LingBot-World-Base (Act)**: модель с управлением действиями, поддерживающая текстовые строки действий. - **LingBot-World-Fast**: ускоренная версия, использующая каузальный вывод и кэширование KV для эффективной генерации кадров по частям. - **Квантованная модель**: доступна 4-битная квантованная версия для пользователей с ограниченной памятью GPU, но только для вывода и может иметь незначительное визуальное ухудшение. Технические требования и использование: Проект требует PyTorch (>= 2.4.0) и flash attention. Скрипты вывода поддерживают выполнение на нескольких GPU через `torchrun`. Веса моделей можно загрузить с HuggingFace или ModelScope. Репозиторий предоставляет примеры скриптов для генерации изображение-в-видео с различными параметрами конфигурации. Примечание: этот репозиторий больше не поддерживается активно. Авторы перешли к разработке в новый репозиторий, LingBot-World-Infinity (v2).