À propos du projet

Hoho Avatar est une boîte à outils axée sur le code source conçue pour créer des expériences d'avatars réactifs à l'audio. Elle dispose d'un moteur TypeScript basé sur le navigateur qui analyse l'audio PCM mono en streaming pour piloter les animations de personnages, gérant spécifiquement cinq états de la bouche et le clignement automatique des yeux pour des personnages PNG superposés rendus via Canvas 2D. Les capacités clés incluent : - Intégration audio : Prend en charge diverses sources audio, notamment l'entrée microphone en direct, les fichiers audio locaux et le TTS en streaming (via KittenTTS). - Support des agents vocaux : Comprend une passerelle pour l'intégration avec les agents vocaux Azure OpenAI Realtime pour des conversations full-duplex. - Gestion des actifs : Utilise un format de personnage spécifique basé sur JSON pour définir les couches du corps, des yeux et de la bouche. Il inclut un « Skill » basé sur Codex pour générer et valider ces actifs. - Architecture modulaire : Sépare l'acquisition des médias, l'analyse du mouvement (PCMAnalyzer et MouthClassifier) et le rendu, permettant une extension future potentielle vers des moteurs de rendu Live2D ou 3D. La boîte à outils fournit un ensemble de personnages d'exemple et une application de démonstration pour illustrer la réaction vocale en temps réel et la lecture audio locale.