Об этом проекте

LTX-2 — это Python-пакет с открытым исходным кодом, разработанный Lightricks для инференса и дообучения (LoRA, IC-LoRA) генеративной аудиовидеомодели LTX-2. Он организован как монорепозиторий, содержащий три основных пакета: ltx-core (базовая реализация модели и стек инференса), ltx-pipelines (высокоуровневые конвейеры для различных задач генерации) и ltx-trainer (инструменты обучения и дообучения). Центральным элементом репозитория является модель LTX-2.5 — базовая модель на основе Diffusion Transformer (DiT), способная генерировать синхронизированные аудио и видео. Пакет поддерживает несколько режимов генерации: от быстрого прототипирования до результатов продакшн-качества. Ключевые возможности включают: - Множество конвейеров инференса: включает DistilledPipeline для быстрой генерации видео из текста/изображения (всего 8 шагов), DFRPipeline (Diffusion Fidelity Rendering) для результатов продакшн-качества с детализирующим IC-LoRA, а также специализированные конвейеры для преобразования видео-в-видео, интерполяции ключевых кадров, генерации видео из аудио, пересъёмки видео, вывода в HDR и дубляжа (DubIt). - Компоненты модели: поддерживает модульную загрузку весов модели с Hugging Face, включая дистиллированный или dev-трансформер на 22B, текстовый энкодер Gemma 4 12B, видео- и аудио-VAE, пространственные и временные апскейлеры, а также адаптеры LoRA. - Оптимизация и поддержка оборудования: предлагает квантование FP8 для снижения потребления VRAM, поддержку FlashAttention 3/4 на GPU Hopper и Blackwell, а также дополнение natten для быстрого декодирования с соседним вниманием на Linux+CUDA. - Промптинг и управление: рекомендует подробные хронологические промпты с описанием действий, ракурсов камеры и деталей окружения. Поддерживает автоматическое улучшение промптов, предсказание длительности и рабочие процессы с EXR/HDR. Репозиторий предоставляет исчерпывающие команды CLI и доступ через Python API, что делает его универсальным набором инструментов для разработчиков, исследователей и авторов, создающих пользовательские приложения для генерации аудио и видео.