framepack

FramePack est l'implémentation officielle et le logiciel de bureau du papier « Frame Context Packing and Drift Prevention in Next-Frame-Prediction Video Diffusion Models ». Il s'agit d'une structure de réseau neuronal de prédiction d'image suivante (de section d'images suivante) qui génère des vidéos de manière progressive. Approche technique clé : FramePack compresse les contextes d'entrée à une longueur constante de sorte que la charge de travail de génération soit indépendante de la longueur de la vidéo. Cela permet de traiter un très grand nombre d'images avec des modèles 13B même sur des GPU de portable. Les auteurs le décrivent comme une « diffusion vidéo, mais qui ressemble à une diffusion d'images ». Il peut également être entraîné avec des tailles de batch plus grandes, de manière similaire à l'entraînement par diffusion d'images. Exigences matérielles : GPU Nvidia RTX 30XX, 40XX ou 50XX prenant en charge fp16 et bf16 (GTX 10XX/20XX non testés), Linux ou Windows, au moins 6 Go de mémoire GPU. Pour générer une vidéo d'une minute à 30 ips (1800 images) avec un modèle 13B, la mémoire GPU minimale requise est de 6 Go. Le logiciel fournit une interface graphique basée sur Gradio où les utilisateurs téléchargent une image et écrivent un prompt à gauche, et visualisent les vidéos générées et les aperçus latents à droite. Les vidéos sont générées section par section, avec un retour visuel fourni en continu. Les options d'installation incluent un package Windows en un clic (CUDA 12.6 + PyTorch 2.6) et l'installation Linux via pip avec Python 3.10. Le logiciel prend en charge les noyaux d'attention PyTorch, xformers, flash-attn et sage-attention. L'accélération TeaCache est disponible mais est indiquée comme non sans perte, pouvant potentiellement influencer les résultats. Le dépôt inclut des exemples de vérification et des directives de prompt, recommandant des prompts concis axés sur le mouvement. Le dépôt avertit explicitement qu'il s'agit du seul site officiel de FramePack et que de nombreux autres domaines (framepack.co, framepack.ai, etc.) sont faux et ne doivent pas être utilisés.