vibevoice

VibeVoice est un projet open-source d'IA vocale de Microsoft comprenant des modèles de reconnaissance automatique du discours (ASR) et de synthèse vocale (TTS). Une caractéristique technique centrale repose sur l'utilisation de tokenizers de parole continus fonctionnant à un taux de trame ultra-faible de 7,5 Hz, préservant la fidélité audio tout en améliorant l'efficacité computationnelle pour les séquences longues, combinée à un framework de diffusion next-token. Modèles et capacités clés documentés dans le repository : 1. VibeVoice-ASR : Un modèle unifié de speech-to-text capable de traiter jusqu'à 60 minutes d'audio continu en un seul passage. Il produit des transcriptions structurées contenant l'identité de l'interlocuteur (Qui), les horodatages (Quand) et le contenu (Quoi). Il prend en charge des hotwords personnalisables par l'utilisateur pour les termes spécifiques à un domaine et est nativement multilingue avec le support de plus de 50 langues. Une variante en streaming transcrit l'audio au fur et à mesure de son arrivée. Il est intégré dans Hugging Face Transformers et supporte l'inférence vLLM. 2. VibeVoice-ASR-BitNet : Un moteur d'inférence sur CPU edge utilisant une quantification hétérogène (I8_S + I2_S), compressant le modèle de 4,62 Go à 1,58 Go pour une inférence en temps réel sur des threads CPU sans GPU. 3. VibeVoice-TTS : Un modèle TTS multi-louteurs longue forme capable de synthétiser jusqu'à 90 minutes de parole en un seul passage avec jusqu'à 4 locuteurs distincts. Il supporte une parole expressive et plusieurs langues, dont l'anglais et le chinois. Note : Le code TTS a été retiré du repository pour des raisons liées à une IA responsable après des cas d'abus. 4. VibeVoice-Realtime-0.5B : Un modèle TTS en streaming léger (0,5 milliard de paramètres) supportant l'entrée textuelle en streaming et une génération robuste de parole longue forme, avec des voix multilingues expérimentales. Le repository inclut de la documentation, du code de finetuning pour l'ASR, des démos et des liens vers les poids des modèles sur Hugging Face. Le projet précise qu'il est destiné exclusivement à la recherche et au développement, et n'est pas recommandé pour des applications commerciales ou réelles sans tests supplémentaires.