ltx-video

LTX-Video es un modelo de generación de video basado en DiT desarrollado por Lightricks. Integra capacidades clave de generación de video en un solo modelo, incluyendo generación sincronizada de audio y video, salidas de alta fidelidad y múltiples modos de rendimiento. El modelo puede generar videos en resolución nativa 4K hasta 50 FPS con audio sincronizado en un solo paso. Las capacidades principales incluyen: - Generación de texto a video e imagen a video - Extensión de video (hacia adelante y hacia atrás) - Condicionamiento multimarco clave y animación basada en marcos clave - Transformaciones de video a video - Generación sincronizada de audio (en LTX-2) El repositorio ofrece múltiples variantes del modelo, incluyendo versiones de 13B y 2B parámetros, modelos destilados para inferencia más rápida y versiones cuantizadas en FP8 para reducir el uso de VRAM. Los modelos destilados permiten iteración rápida, generando videos HD en segundos en hardware adecuado. El modelo destilado de 2B requiere solo 1 GB de VRAM en su variante LoRA. LTX-Video se integra con ComfyUI, Diffusers y proporciona una API de biblioteca Python. Soporta modelos de control para condicionamiento de profundidad, poses y bordes Canny, así como ajuste fino de LoRA para personalización de estilo. El modelo está disponible bajo la licencia OpenRAIL-M para uso comercial. Las contribuciones de la comunidad incluyen ComfyUI-LTXTricks para flujos de trabajo avanzados de edición (RF-Inversion, RF-Edit, FlowEdit), LTX-VideoQ8 para inferencia optimizada en 8 bits en GPUs NVIDIA ADA, y TeaCache para aceleración de inferencia sin entrenamiento. El modelo sucesor, LTX-2, agrega generación sincronizada de audio y video, soporte para clips más largos y controles creativos mejorados.