framepack

FramePack es la implementación oficial y el software de escritorio para el artículo «Frame Context Packing and Drift Prevention in Next-Frame-Prediction Video Diffusion Models». Se trata de una arquitectura de red neuronal de predicción de siguientes cuadros (next‑frame‑section) que genera vídeos de forma progresiva. Enfoque técnico clave: FramePack comprime los contextos de entrada a una longitud constante, de modo que la carga de trabajo de generación resulte independiente de la longitud del vídeo. Esto permite procesar un número muy elevado de cuadros con modelos de 13B incluso en GPUs para portátiles. Los autores lo describen como «difusión de vídeo, pero se siente como difusión de imagen». Asimismo, puede entrenarse con lotes (batchs) más grandes, al igual que en el entrenamiento de imágenes. Requisitos de hardware: GPUs de las series Nvidia RTX 30XX, 40XX o 50XX que admitan fp16 y bf16 (las GTX 10XX/20XX no han sido probadas), Linux o Windows, y al menos 6 GB de memoria de GPU. Para generar un vídeo de 1 minuto a 30 fps (1800 cuadros) con un modelo de 13B, se requieren como mínimo 6 GB de memoria GPU. El software ofrece una interfaz gráfica basada en Gradio donde los usuarios pueden subir una imagen y escribir un prompt a la izquierda, mientras que a la derecha visualizan los vídeos generados y las prefacetas latentes. Los vídeos se generan por secciones, con retroalimentación visual durante todo el proceso. Opciones de instalación: paquete de una sola pulsación para Windows (CUDA 12.6 + PyTorch 2.6) e instalación en Linux mediante pip con Python 3.10. El software admite kernels de atención de PyTorch, xformers, flash‑attn y sage‑attention. La aceleración con TeaCache está disponible, aunque se indica que no es lossless y puede influir en los resultados. El repositorio incluye ejemplos de verificación básica (sanity check) y guías de prompting, recomendando prompts concisos centrados en el movimiento. El repositorio advierte explícitamente que esta es la única página web oficial de FramePack y que numerosos dominios similares (framepack.co, framepack.ai, etc.) son falsos y no deben utilizarse.