videolingo

VideoLingo é uma ferramenta abrangente de tradução e dublagem de vídeos projetada para produzir legendas com qualidade Netflix. Ele resolve problemas comuns de tradução automática fornecendo legendas de uma única linha, eliminando traduções rígidas e adicionando dublagem de alta qualidade. Principais recursos incluem: - Download de vídeos do YouTube via yt-dlp - Reconhecimento de legendas em nível de palavra com WhisperX (large-v3), executável localmente ou via API - Segmentação de legendas com NLP e IA - Terminologia personalizada e gerada por IA para tradução coerente - Um processo de 3 etapas Traduzir-Refletir-Adapitar para tradução com qualidade cinematográfica - Saída de legendas de uma única linha no padrão Netflix - Suporte a dublagem via GPT-SoVITS, Azure, OpenAI, Fish-TTS, Edge-TTS e opções de TTS personalizadas - Inicialização e processamento com um clique por meio de uma interface web Streamlit com suporte multilíngue - Controle de tarefas permitindo que os usuários pausem, retomem ou parem o processamento em qualquer etapa - Registro detalhado com retomada de progresso - Caixa de pesquisa de modelos com busca automática de API para filtrar modelos da lista completa do provedor Os idiomas de entrada suportados incluem inglês, russo, francês, alemão, italiano, espanhol, japonês e chinês. A tradução suporta todos os idiomas, enquanto o idioma da dublagem depende do método TTS escolhido. As opções de instalação incluem o uso do uv (recomendado) para configuração automatizada do ambiente Python, Conda ou Docker. O projeto suporta formatos de API compatíveis com OpenAI para integração com LLM e várias interfaces de TTS. Ele pode rodar totalmente localmente com Ollama e Edge-TTS sem exigir APIs pagas. As limitações atuais incluem possíveis problemas de transcrição do WhisperX com ruído de fundo, erros de LLMs menos potentes com requisitos rigorosos de formato JSON, dublagem imperfeita devido a diferenças na taxa de fala, retenção apenas do idioma principal em vídeos multilíngues e incapacidade de dublar vários personagens separadamente.