livetalking

LiveTalking es un motor de código abierto para humanos digitales interactivos en tiempo real, diseñado para generar avatares virtuales que mantienen conversaciones sincronizadas de audio y video mediante texto o voz. El proyecto soporta varios modelos de generación de humanos digitales, incluyendo ernerf, musetalk, wav2lip y Ultralight-Digital-Human, y ofrece capacidades como clonación de voz, interrupción del habla, composición de video de cuerpo completo, coreografía de movimientos y personalización de avatares. El sistema puede integrarse con modelos de lenguaje grandes (LLM) para generar respuestas, sintetizar voz mediante TTS y controlar al humano digital con sincronización labial en tiempo real, para luego transmitir mediante WebRTC, RTMP o cámara virtual. LiveTalking proporciona acceso a través de navegador web, API HTTP y cliente de escritorio, e incluye una página de generación de avatares y un panel de administración que permite subir videos para crear humanos digitales, supervisar sesiones y ajustar configuraciones globales. Su arquitectura modular abarca capas de API, lógica, renderizado, streaming y un sistema de plugins. Es compatible con soluciones TTS como EdgeTTS, GPT-SoVITS, CosyVoice y Tencent Cloud, y puede conectarse a modelos como Qwen o gateways compatibles con OpenAI. Entre sus casos de uso destacan presentadores virtuales y ventas en vivo, atención al cliente con humanos digitales, educación en línea, asistentes de voz inteligentes, explicaciones en pantallas grandes y producción por lotes de videos cortos. El proyecto incluye instrucciones de instalación, imágenes Docker, documentación de API y referencias de rendimiento, orientado a desarrolladores que necesiten conversaciones en tiempo real con humanos digitales y transmisión en vivo.