Об этом проекте

LiveTalking — это открытый потоковый движок интерактивных цифровых людей реального времени для синхронизации аудио- и видеоряда при управлении виртуальным аватаром посредством текста или голоса. Проект поддерживает несколько моделей цифровых людей, включая ernerf, musetalk, wav2lip и Ultralight-Digital-Human, а также функции клонирования голоса, прерывания речи, склейки полнокадрового видео, хореографии движений и создания пользовательских аватаров. Система способна генерировать ответы через LLM, затем синтезировать речь с помощью TTS, синхронизировать артикуляцию цифрового человека в реальном времени и выводить результат через WebRTC, RTMP или виртуальную веб-камеру. Доступны веб-интерфейс, HTTP API и десктопный клиент, а также страница генерации аватаров и панель управления для загрузки видео, мониторинга состояния сессий и настройки глобальных конфигураций. Модульная архитектура включает API-слой, логический слой, слой рендеринга, слой потокового вывода и систему плагинов, поддерживаются решения TTS EdgeTTS, GPT-SoVITS, CosyVoice, а также интеграция с моделями Qwen и OpenAI-совместимыми шлюзами. Сценарии применения: виртуальные стримеры и торговые лайвстримы, AI-цифровые люди-консультанты, онлайн-образование, интеллектуальные голосовые помощники, презентации на больших экранах и массовое создание коротких видео. Проект предоставляет инструкции по установке, Docker-образы, документацию по API и справочные данные по производительности, что делает его подходящим выбором для разработчиков, нуждающихся в реальной цифровой коммуникации и потоковой трансляции.