ltx-2

LTX-2 es un paquete de Python de código abierto desarrollado por Lightricks para la inferencia y el ajuste fino (LoRA, IC-LoRA) del modelo generativo de audio-video LTX-2. Está organizado como un monorepositorio que contiene tres paquetes principales: ltx-core (implementación del modelo central y pila de inferencia), ltx-pipelines (pipelines de alto nivel para diversas tareas de generación) y ltx-trainer (herramientas de entrenamiento y ajuste fino). La pieza central del repositorio es el modelo LTX-2.5, un modelo base basado en Diffusion Transformer (DiT) capaz de generar audio y video sincronizados. El paquete admite múltiples modos de generación, desde prototipado rápido hasta salidas de calidad de producción. Las características y capacidades clave incluyen: - Múltiples pipelines de inferencia: Incluye DistilledPipeline para generación rápida de texto/imagen a video (tan solo 8 pasos), DFRPipeline (Diffusion Fidelity Rendering) para resultados de calidad de producción con IC-LoRA de detalle, y pipelines especializados para transformación de video a video, interpolación de fotogramas clave, generación de audio a video, retoma de video, salida HDR y doblaje (DubIt). - Componentes del modelo: Admite descargas modulares de pesos del modelo desde Hugging Face, incluyendo el transformador destilado o dev de 22B, el codificador de texto Gemma 4 12B, los VAE de video y audio, los upscalers espaciales y temporales, y adaptadores LoRA. - Optimización y soporte de hardware: Ofrece cuantización FP8 para reducir el uso de VRAM, soporte para FlashAttention 3/4 en GPUs Hopper y Blackwell, y el extra natten para decodificación rápida de atención vecina en Linux+CUDA. - Indicaciones y controles: Fomenta indicaciones detalladas y cronológicas que describan acciones, ángulos de cámara y detalles del entorno. Admite mejora automática de indicaciones, predicción de duración y flujos de trabajo EXR/HDR. El repositorio proporciona comandos CLI completos y acceso a la API de Python, lo que lo convierte en un kit de herramientas versátil para desarrolladores, investigadores y creadores que buscan construir aplicaciones personalizadas de generación de audio-video.