ltx-2

O LTX-2 é um pacote Python de código aberto desenvolvido pela Lightricks para inferência e ajuste fino (LoRA, IC-LoRA) do modelo generativo de áudio e vídeo LTX-2. Ele é organizado como um monorepo contendo três pacotes principais: ltx-core (implementação do modelo central e pilha de inferência), ltx-pipelines (pipelines de alto nível para várias tarefas de geração) e ltx-trainer (ferramentas de treinamento e ajuste fino). O destaque do repositório é o modelo LTX-2.5, um modelo base baseado em Diffusion Transformer (DiT) capaz de gerar áudio e vídeo sincronizados. O pacote suporta múltiplos modos de geração, variando de prototipagem rápida a resultados com qualidade de produção. Principais recursos e capacidades incluem: - Múltiplos Pipelines de Inferência: Inclui DistilledPipeline para geração rápida de texto/imagem para vídeo (com apenas 8 passos), DFRPipeline (Diffusion Fidelity Rendering) para resultados com qualidade de produção com IC-LoRA detalhado, e pipelines especializados para transformação de vídeo para vídeo, interpolação de quadros-chave, geração de áudio para vídeo, refilmagem de vídeo, saída HDR e dublagem (DubIt). - Componentes do Modelo: Suporta downloads modulares de pesos do modelo a partir do Hugging Face, incluindo o transformador destilado ou dev de 22B, codificador de texto Gemma 4 12B, VAEs de vídeo e áudio, upscalers espaciais e temporais, e adaptadores LoRA. - Otimização e Suporte de Hardware: Oferece quantização FP8 para reduzir o uso de VRAM, suporte para FlashAttention 3/4 em GPUs Hopper e Blackwell, e o extra natten para decodificação rápida de atenção de vizinhança em Linux+CUDA. - Prompts e Controles: Incentiva prompts detalhados e cronológicos descrevendo ações, ângulos de câmera e detalhes do ambiente. Suporta aprimoramento automático de prompts, previsão de duração e fluxos de trabalho EXR/HDR. O repositório fornece comandos CLI abrangentes e acesso via API Python, tornando-o um kit de ferramentas versátil para desenvolvedores, pesquisadores e criadores que buscam construir aplicações personalizadas de geração de áudio e vídeo.