Sobre o projeto

Hoho Avatar é um toolkit focado na fonte, projetado para construir experiências de avatares reativos a áudio. Ele apresenta um motor TypeScript baseado em navegador que analisa áudio PCM mono em streaming para conduzir animações de personagens, gerenciando especificamente cinco estados de boca e piscadas automáticas para personagens em PNG em camadas renderizados via Canvas 2D. As principais capacidades incluem: - Integração de Áudio: Suporta várias fontes de áudio, incluindo entrada de microfone ao vivo, arquivos de áudio locais e TTS em streaming (via KittenTTS). - Suporte a Agentes de Voz: Inclui um gateway para integração com agentes de voz Azure OpenAI Realtime para conversas full-duplex. - Gerenciamento de Ativos: Utiliza um formato de personagem específico baseado em JSON para definir camadas de corpo, olhos e boca. Inclui uma 'Skill' baseada em Codex para gerar e validar esses ativos. - Arquitetura Modular: Separa a aquisição de mídia, a análise de movimento (PCMAnalyzer e MouthClassifier) e a renderização, permitindo a expansão futura para renderizadores Live2D ou 3D. O toolkit fornece um conjunto de personagens de exemplo e um aplicativo de demonstração para exibir a reação de voz em tempo real e a reprodução de áudio local.