vibevoice

VibeVoice es un proyecto de IA de voz de código abierto de Microsoft que comprende modelos tanto de Reconocimiento Automático del Habla (ASR) como de Síntesis de Voz (TTS). Una característica técnica central es el uso de tokenizadores de habla continua que operan a una tasa de fotogramas ultrabaja de 7,5 Hz para preservar la fidelidad de audio mientras mejoran la eficiencia computacional para secuencias largas, combinado con un marco de difusión de próximo token. Modelos y capacidades principales documentados en el repositorio: 1. VibeVoice-ASR: Un modelo unificado de habla a texto que procesa hasta 60 minutos de audio continuo en una sola pasada. Produce transcripciones estructuradas que incluyen identidad del hablante (Quién), marcas de tiempo (Cuándo) y contenido (Qué). Soporta palabras clave personalizadas por el usuario para términos específicos del dominio y es nativamente multilingüe con soporte para más de 50 idiomas. Una variante en streaming transcribe el audio a medida que llega. Está integrada en Hugging Face Transformers y soporta inferencia con vLLM. 2. VibeVoice-ASR-BitNet: Un motor de inferencia para CPU edge que utiliza cuantización heterogénea (I8_S + I2_S), comprimiendo el modelo de 4,62 GB a 1,58 GB para inferencia en tiempo real en hilos de CPU sin necesidad de GPU. 3. VibeVoice-TTS: Un modelo de síntesis de voz de formato largo y multi-hablante capaz de generar hasta 90 minutos de habla en una sola pasada con hasta 4 hablantes distintos. Soporta habla expresiva y múltiples idiomas, incluyendo inglés y chino. Nota: El código TTS fue eliminado del repositorio por preocupaciones de IA responsable tras incidentes de mal uso. 4. VibeVoice-Realtime-0.5B: Un modelo de TTS en streaming en tiempo real ligero (0,5B parámetros) que soporta entrada de texto en streaming y generación robusta de habla de formato largo, con voces multilingües experimentales. El repositorio incluye documentación, código de ajuste fino para ASR, demostraciones y enlaces a los pesos del modelo en Hugging Face. El proyecto declara que está destinado únicamente a propósitos de investigación y desarrollo, y no se recomienda para aplicaciones comerciales o del mundo real sin pruebas adicionales.