funclip

FunClip é um aplicativo automatizado de transcrição de vídeo, geração de legendas e corte de clipes. Ele é executado localmente por meio de uma interface web Gradio e também pode ser operado a partir da linha de comando. O fluxo de trabalho consiste em enviar um vídeo, executar o reconhecimento de fala, inspecionar a transcrição e os rótulos dos falantes, escolher um ou mais segmentos de texto e exportar o clipe de vídeo correspondente com legendas opcionais. Capacidades principais - Reconhecimento de fala em vídeo usando modelos Paraformer baseados em FunASR, incluindo previsão de timestamp para corte baseado em texto. - Suporte a palavras-chave através do SeACo-Paraformer para melhorar o reconhecimento de nomes, entidades ou outros termos especificados. - Reconhecimento de falantes com CAM++, permitindo que clipes sejam selecionados por um ID de falante atribuído automaticamente. - Corte de múltiplos segmentos a partir da transcrição reconhecida. - Geração de legendas SRT para o vídeo completo e legendas para os segmentos alvo selecionados. - Renderização de legendas integrada com Pillow e uma fonte incluída; o ImageMagick é necessário apenas para fluxos de trabalho legados do MoviePy TextClip. Caminhos de modelo disponíveis - Configuração padrão do Paraformer para corte de vídeo em chinês. - Reconhecimento Paraformer em inglês usando a opção de idioma inglês. - Fun-ASR-Nano como uma opção de checkpoint de maior precisão. - SenseVoice para ASR multilíngue com tags de emoção e eventos de áudio. - Opcional MOSS-Transcribe-Diarize através de um serviço local vLLM para transcrição de longa duração, timestamps em nível de segmento e rótulos anônimos de falantes. O MOSS realiza segmentação e diarização de ponta a ponta; a documentação observa que o corte preciso de texto arbitrário ainda requer timestamps de token do Paraformer. Seleção assistida por IA e consciente de conteúdo O FunClip pode usar um LLM para analisar a transcrição e propor segmentos de clipe, que são então passados para o fluxo de trabalho existente de IA de corte. O OrcaRouter pode ser configurado como um gateway opcional compatível com OpenAI usando uma chave de API e variáveis de ambiente. Para seleção baseada em visuais e áudio, em vez de apenas texto de transcrição, o TwelveLabs Pegasus pode ser ativado opcionalmente; ele requer o pacote twelvelabs e uma chave de API. Opções de uso O serviço local Gradio é iniciado com Python e normalmente é acessado em localhost:7860. Ele suporta opções de inicialização com porta e acesso público. Os usuários também podem experimentar o projeto através de seus ModelScope ou Hugging Face Spaces. Para uso em linha de comando, o FunClip fornece um processo de duas etapas: primeiro reconhecer o vídeo e escrever as saídas de transcrição/SRT, depois executar a etapa de corte com texto de destino, deslocamentos e um arquivo de saída. Instalação e licenciamento A configuração documentada usa um ambiente virtual Python 3.12, uma instalação PyTorch/torchaudio compatível com a plataforma e os requisitos do projeto. O FunClip atualmente requer funasr>=1.4.9 para seus caminhos de compatibilidade de modelo e legendas. Os pesos do modelo são baixados separadamente no primeiro uso e são regidos por suas respectivas licenças de modelo. O código-fonte do FunClip é lançado sob a Licença MIT.