cogvideo

CogVideoX é um modelo de geração de vídeo de código aberto desenvolvido pela QingYing. O repositório disponibiliza vários modelos, incluindo CogVideoX-2B, CogVideoX-5B, CogVideoX-5B-I2V e a série mais recente CogVideoX1.5-5B. Esses modelos suportam três tarefas principais: geração de texto para vídeo, geração de imagem para vídeo e continuação de vídeo. Os modelos CogVideoX1.5-5B suportam vídeos de 10 segundos com resolução de até 1360x768, enquanto os modelos anteriores geram vídeos de 6 segundos na resolução de 720x480. A variante I2V (image-to-video) suporta resoluções variáveis, com dimensão mínima de 768 pixels. Os modelos aceitam prompts em inglês com limite de 224 a 226 tokens. A inferência é suportada por meio de dois frameworks: Diffusers e SAT (SwissArmyTransformer). A versão Diffusers oferece otimizações de memória, incluindo descarga sequencial para CPU, fatiamento de VAE e tiling de VAE, permitindo inferência em GPUs de consumidor. O CogVideoX-2B pode rodar em uma GTX 1080 Ti, enquanto o CogVideoX-5B roda em GPUs da classe RTX 3060. A inferência quantizada via TorchAO suporta precisão INT8, reduzindo ainda mais os requisitos de memória. O repositório fornece notebooks do Colab para tarefas de T2V, I2V e V2V em instâncias gratuitas T4. O fine-tuning é suportado por meio de treinamento LoRA, com requisitos reduzidos de memória de GPU, e o toolkit CogKit oferece um framework unificado para fine-tuning e inferência nas séries CogView4 e CogVideoX. Um framework de fine-tuning desenvolvido pela comunidade (cogvideox-factory) permite o fine-tuning do CogVideoX-5B em uma única GPU 4090. O repositório também inclui suporte a inversão DDIM, um guia de otimização de prompts usando grandes modelos de linguagem e o modelo CogVLM2-Caption, usado para converter dados de vídeo em descrições de texto durante o treinamento. O modelo CogVideo original (ICLR 2023) está disponível em um branch separado como o primeiro modelo de geração de texto para vídeo de código aberto baseado em Transformer. O CogVideoX-2B é licenciado sob Apache 2.0.