ltx-2

LTX-2 est un package Python open source développé par Lightricks pour l'inférence et le fine-tuning (LoRA, IC-LoRA) du modèle génératif audio-vidéo LTX-2. Il est organisé sous forme de monorepo contenant trois packages principaux : ltx-core (implémentation du modèle de base et pile d'inférence), ltx-pipelines (pipelines de haut niveau pour diverses tâches de génération) et ltx-trainer (outils d'entraînement et de fine-tuning). La pièce maîtresse du dépôt est le modèle LTX-2.5, un modèle de fondation basé sur Diffusion Transformer (DiT) capable de générer de l'audio et de la vidéo synchronisés. Le package prend en charge plusieurs modes de génération, allant du prototypage rapide aux rendus de qualité production. Les principales fonctionnalités et capacités incluent : - Plusieurs pipelines d'inférence : DistilledPipeline pour une génération rapide texte/image vers vidéo (avec seulement 8 étapes), DFRPipeline (Diffusion Fidelity Rendering) pour des résultats de qualité production avec IC-LoRA de détail, ainsi que des pipelines spécialisés pour la transformation vidéo-à-vidéo, l'interpolation d'images clés, la génération audio-vers-vidéo, la reprise vidéo, la sortie HDR et le doublage (DubIt). - Composants du modèle : prend en charge les téléchargements modulaires des poids du modèle depuis Hugging Face, y compris le transformer 22B distillé ou dev, l'encodeur de texte Gemma 4 12B, les VAE vidéo et audio, les upscalers spatiaux et temporels, et les adaptateurs LoRA. - Optimisation et prise en charge matérielle : propose la quantification FP8 pour réduire l'utilisation de la VRAM, la prise en charge de FlashAttention 3/4 sur les GPU Hopper et Blackwell, ainsi que l'extra natten pour un décodage rapide de l'attention de voisinage sur Linux+CUDA. - Prompting et contrôles : encourage des prompts détaillés et chronologiques décrivant les actions, les angles de caméra et les détails de l'environnement. Prend en charge l'amélioration automatique des prompts, la prédiction de durée et les workflows EXR/HDR. Le dépôt fournit des commandes CLI complètes et un accès via API Python, ce qui en fait une boîte à outils polyvalente pour les développeurs, chercheurs et créateurs souhaitant construire des applications personnalisées de génération audio-vidéo.