ltx-2

LTX-2是Lightricks开发的开源Python包，用于LTX-2音视频生成模型的推理和微调（LoRA、IC-LoRA）。它采用monorepo结构，包含三个主要包：ltx-core（核心模型实现和推理栈）、ltx-pipelines（用于各种生成任务的高级管道）和ltx-trainer（训练和微调工具）。 该仓库的核心是LTX-2.5模型，这是一个基于扩散变换器（DiT）的基础模型，能够生成同步的音频和视频。该包支持多种生成模式，从快速原型到生产级输出。 主要功能和能力包括： - 多推理管道：包括DistilledPipeline用于快速文本/图像到视频生成（最少8步），DFRPipeline（扩散保真渲染）用于生产级结果并带有细节IC-LoRA，以及专门用于视频到视频转换、关键帧插值、音频到视频生成、视频重拍、HDR输出和配音（DubIt）的管道。 - 模型组件：支持从Hugging Face模块化下载模型权重，包括22B蒸馏或开发版变换器、Gemma 4 12B文本编码器、视频和音频VAE、空间和时间上采样器，以及LoRA适配器。 - 优化和硬件支持：提供FP8量化以减少VRAM使用，支持Hopper和Blackwell GPU上的FlashAttention 3/4，以及natten扩展用于Linux+CUDA上的快速邻域注意力解码。 - 提示和控制：鼓励详细、按时间顺序的提示，描述动作、摄像机角度和环境细节。支持自动提示增强、持续时间预测和EXR/HDR工作流。 该仓库提供全面的CLI命令和Python API访问，使其成为开发人员、研究人员和创作者构建自定义音视频生成应用的多功能工具包。