Об этом проекте

Hoho Avatar — это инструментарий, ориентированный на исходный код, предназначенный для создания аудиореактивного опыта с аватарами. Он оснащен браузерным движком на TypeScript, который анализирует потоковое моно-аудио PCM для управления анимацией персонажей, в частности, управляя пятью состояниями рта и автоматическим морганием для многослойных PNG-персонажей, отрисовываемых через Canvas 2D. Ключевые возможности включают: - Интеграция аудио: поддержка различных аудиоисточников, включая ввод с микрофона в реальном времени, локальные аудиофайлы и потоковый TTS (через KittenTTS). - Поддержка голосовых агентов: включает шлюз для интеграции с голосовыми агентами Azure OpenAI Realtime для полнодуплексных разговоров. - Управление активами: использует специальный формат персонажей на базе JSON для определения слоев тела, глаз и рта. Включает «Skill» на базе Codex для генерации и проверки этих активов. - Модульная архитектура: разделяет получение медиаданных, анализ движения (PCMAnalyzer и MouthClassifier) и рендеринг, что позволяет в будущем расширить поддержку до Live2D или 3D-рендереров. Инструментарий предоставляет набор примеров персонажей и демонстрационное приложение для показа реакции на голос в реальном времени и воспроизведения локального аудио.