ltx-video

LTX-Video é um modelo open-source de geração de vídeo baseado em DiT desenvolvido pela Lightricks. Integra capacidades principais de geração de vídeo em um único modelo, incluindo geração sincronizada de áudio e vídeo, saídas de alta fidelidade e múltiplos modos de desempenho. O modelo pode gerar vídeos em resolução nativa 4K até 50 FPS com áudio sincronizado em uma única passagem. Principais capacidades incluem: - Geração texto-para-vídeo e imagem-para-vídeo - Extensão de vídeo (para frente e para trás) - Condição multi-keyframe e animação baseada em keyframes - Transformações vídeo-para-vídeo - Geração sincronizada de áudio (no LTX-2) O repositório oferece múltiplas variantes do modelo, incluindo versões de 13B e 2B parâmetros, modelos destilados para inferência mais rápida, e versões quantizadas FP8 para redução de uso de VRAM. Modelos destilados suportam iteração rápida, gerando vídeos HD em segundos em hardware apropriado. O modelo destilado 2B requer apenas 1GB de VRAM em sua variante LoRA. LTX-Video integra-se com ComfyUI, Diffusers, e fornece uma API de biblioteca Python. Suporta modelos de controle para profundidade, pose e condicionamento Canny edge, bem como fine-tuning LoRA para customização de estilo. O modelo está disponível sob a licença OpenRAIL-M para uso comercial. Contribuições da comunidade incluem ComfyUI-LTXTricks para fluxos de trabalho avançados de edição (RF-Inversion, RF-Edit, FlowEdit), LTX-VideoQ8 para inferência otimizada 8-bit em GPUs NVIDIA ADA, e TeaCache para aceleração de inferência sem treinamento. O modelo sucessor, LTX-2, adiciona geração sincronizada áudio-vídeo, suporte a clipes mais longos, e controles criativos aprimorados.