lingbot-world

LingBot-World es un simulador de mundos y marco de generación de video de código abierto construido sobre la arquitectura Wan2.2. Está diseñado para avanzar en los modelos de mundos de código abierto al ofrecer simulaciones de alta fidelidad, dinámicas robustas en diversos estilos visuales (como realismo, contextos científicos y dibujos animados) y consistencia de memoria a largo plazo en horizontes de nivel de minutos. El modelo admite interactividad en tiempo real, logrando baja latencia (menos de 1 segundo) a 16 fotogramas por segundo. Características clave: - **Entornos diversos y de alta fidelidad**: Capaz de simular entornos complejos en varios dominios visuales. - **Memoria a largo plazo y consistencia**: Mantiene la consistencia contextual en horizontes de video largos. - **Interactividad en tiempo real**: Admite controles interactivos con baja latencia, adecuados para juegos, creación de contenido y aprendizaje robótico. - **Señales de control flexibles**: Puede guiarse mediante poses de cámara, secuencias de acciones o cadenas de acciones fáciles de usar (por ejemplo, comandos de movimiento y dirección de cámara), o ejecutarse de forma incondicional. Modelos y herramientas: - **LingBot-World-Base (Cam)**: Modelo controlado por pose de cámara disponible en resoluciones de 480P y 720P. - **LingBot-World-Base (Act)**: Modelo controlado por acciones que admite cadenas de acciones basadas en texto. - **LingBot-World-Fast**: Una versión acelerada que utiliza inferencia causal y almacenamiento en caché KV para una generación eficiente de fotogramas por partes. - **Modelo cuantizado**: Hay una versión cuantizada de 4 bits disponible para usuarios con memoria GPU limitada, aunque es solo para inferencia y puede presentar una ligera degradación visual. Requisitos técnicos y uso: El proyecto requiere PyTorch (>= 2.4.0) y atención flash. Los scripts de inferencia admiten ejecución multi-GPU mediante `torchrun`. Los pesos del modelo se pueden descargar desde HuggingFace o ModelScope. El repositorio proporciona scripts de ejemplo para la generación de video de imagen a video con varias opciones de configuración. Nota: Este repositorio ya no se mantiene activamente. Los autores han trasladado el desarrollo al repositorio más nuevo, LingBot-World-Infinity (v2).