vibevoice

VibeVoice é um projeto open-source de IA de voz da Microsoft que compreende modelos tanto de Reconhecimento Automático de Fala (ASR) quanto de Texto para Fala (TTS). Um recurso técnico central é seu uso de tokenizadores de fala contínuos operando a uma taxa de quadros ultrabaixa de 7,5 Hz para preservar a fidelidade do áudio enquanto melhora a eficiência computacional para sequências longas, combinado com um framework de difusão next-token. Modelos e capacidades principais documentados no repositório: 1. VibeVoice-ASR: Um modelo unificado de fala para texto que processa até 60 minutos de áudio contínuo em uma única passagem. Produz transcrições estruturadas contendo identidade do falante (Quem), timestamps (Quando) e conteúdo (O quê). Suporta hotwords personalizados pelo usuário para termos específicos do domínio e é nativamente multilíngue com suporte para mais de 50 idiomas. Uma variante em streaming transcreve o áudio conforme chega. Está integrado ao Hugging Face Transformers e suporta inferência vLLM. 2. VibeVoice-ASR-BitNet: Um mecanismo de inferência em CPU de borda usando quantização heterogênea (I8_S + I2_S), comprimindo o modelo de 4,62 GB para 1,58 GB para inferência em tempo real em threads de CPU sem GPU. 3. VibeVoice-TTS: Um modelo de texto para fala de longa duração e multi-falante capaz de sintetizar até 90 minutos de fala em uma única passagem com até 4 falantes distintos. Suporta fala expressiva e múltiplos idiomas, incluindo inglês e chinês. Nota: O código TTS foi removido do repositório devido a preocupações com IA responsável após instâncias de mau uso. 4. VibeVoice-Realtime-0.5B: Um modelo TTS de streaming em tempo real leve (0.5B parâmetros) que suporta entrada de texto em streaming e geração robusta de fala de longa duração, com vozes multilíngues experimentais. O repositório inclui documentação, código de fine-tuning para ASR, demos e links para pesos do modelo no Hugging Face. O projeto declara que se destina apenas a fins de pesquisa e desenvolvimento e não é recomendado para aplicações comerciais ou do mundo real sem testes adicionais.