Sobre o projeto
video-use é um projeto de código aberto que permite a edição de vídeo por meio de agentes de codificação como Claude Code, Codex ou Hermes. Os usuários colocam filmagens brutas em uma pasta, conversam com o agente e recebem um `final.mp4` finalizado. Funciona em tipos de conteúdo como talking heads, montagens, tutoriais, viagens e entrevistas, sem exigir presets ou menus.
Principais capacidades incluem:
- Corte de palavras filler (umm, uh, inícios falsos) e espaços mortos entre tomadas
- Colorização automática com tons cinematográficos quentes, punch neutro ou cadeias ffmpeg personalizadas
- Fades de áudio de 30ms em cada corte para evitar pops
- Legendas queimadas com estilos personalizáveis (chunks maiúsculos de 2 palavras por padrão)
- Geração de overlays de animação via HyperFrames, Remotion, Manim ou PIL, iniciados em sub-agentes paralelos
- Autoavaliação da saída renderizada em cada limite de corte antes de exibir resultados
- Persistência de memória de sessão em `project.md` para continuidade entre sessões
O sistema funciona fazendo o LLM ler o vídeo por duas camadas em vez de assisti-lo. A Camada 1 é uma transcrição de áudio do ElevenLabs Scribe fornecendo timestamps em nível de palavra, diarização de falantes e eventos de áudio, compactados em um arquivo de texto de ~12KB. A Camada 2 é um composite visual sob demanda (filmstrip + waveform + labels de palavras PNG) gerado apenas nos pontos de decisão. Essa abordagem evita processar milhões de tokens de frames brutos.
O pipeline flui: Transcrever -> Compactar -> LLM Reasoning -> EDL -> Renderizar -> Autoavaliar, com um loop de autoavaliação que verifica a saída renderizada nos limites de corte e pode corrigir problemas até 3 vezes antes de apresentar o preview.
A configuração pode ser feita via prompt de colagem para instalação automatizada ou manualmente através de clone, instalação de dependências (uv/pip, ffmpeg, yt-dlp) e adição de uma chave API do ElevenLabs. Princípios de design enfatizam texto e visuais sob demanda, áudio como primário com visuais seguindo, aprovação de estratégia antes da execução, zero suposições de conteúdo e 12 regras duras de produção com liberdade artística em outros aspectos.
Comments
0 Rating appears after 10 ratings
Sign in to join the discussion.