hoho-avatar

Hoho Avatar es un kit de herramientas orientado a la fuente diseñado para crear experiencias de avatares reactivos al audio. Cuenta con un motor de TypeScript basado en el navegador que analiza audio PCM mono en streaming para impulsar animaciones de personajes, gestionando específicamente cinco estados de la boca y el parpadeo automático para personajes PNG por capas renderizados a través de Canvas 2D. Las capacidades clave incluyen: - Integración de Audio: Soporta diversas fuentes de audio, incluyendo entrada de micrófono en vivo, archivos de audio locales y TTS en streaming (vía KittenTTS). - Soporte para Agentes de Voz: Incluye una puerta de enlace para la integración con agentes de voz de Azure OpenAI Realtime para conversaciones full-duplex. - Gestión de Activos: Utiliza un formato de personaje específico basado en JSON para definir las capas del cuerpo, ojos y boca. Incluye una 'Skill' basada en Codex para generar y validar estos activos. - Arquitectura Modular: Separa la adquisición de medios, el análisis de movimiento (PCMAnalyzer y MouthClassifier) y el renderizado, permitiendo una posible expansión futura a renderizadores Live2D o 3D. El kit de herramientas proporciona un conjunto de personajes de ejemplo y una aplicación de demostración para mostrar la reacción de voz en tiempo real y la reproducción de audio local.