Об этом проекте

VibeVoice — это open-source проект голосового AI от Microsoft, включающий модели автоматического распознавания речи (ASR) и синтеза речи (TTS). Ключевой технической особенностью является использование непрерывных речевых токенизаторов, работающих с ультранизкой частотой 7,5 Гц, что сохраняет высокое качество аудио и повышает вычислительную эффективность для длинных последовательностей, в сочетании с framework диффузии следующего токена. Основные модели и возможности, задокументированные в репозитории: 1. VibeVoice-ASR: унифицированная модель speech-to-text, способная обрабатывать до 60 минут непрерывного аудио за один проход. Выдаёт структурированную транскрипцию с идентификацией говорящего (Кто), временными метками (Когда) и содержанием (Что). Поддерживает пользовательские горячие слова для предметно-ориентированных терминов и нативно поддерживает более 50 языков. Существует streaming-вариант, транскрибирующий аудио по мере поступления. Интегрирован в Hugging Face Transformers и поддерживает инференс через vLLM. 2. VibeVoice-ASR-BitNet: edge-движок CPU-инференса, использующий гетерогенное квантование (I8_S + I2_S), сжимающий модель с 4,62 ГБ до 1,58 ГБ для real-time инференса на CPU-потоках без GPU. 3. VibeVoice-TTS: модель TTS для длинной многоголосой речи, способная синтезировать до 90 минут речи за один проход с участием до 4 различных говорящих. Поддерживает выразительную речь и несколько языков, включая английский и китайский. Примечание: код TTS был удалён из репозитория по соображениям ответственного ИИ после случаев злоупотребления. 4. VibeVoice-Realtime-0.5B: лёгкая модель TTS (0,5 млрд параметров) для real-time streaming, поддерживающая потоковый ввод текста и устойчивое генерирование длинной речи, с экспериментальными многоязычными голосами. Репозиторий включает документацию, код для дообучения ASR, демо-примеры и ссылки на веса моделей на Hugging Face. Проект заявлен исключительно для исследований и разработок и не рекомендуется для коммерческого или практического применения без дополнительного тестирования.