프로젝트 소개

Hoho Avatar는 오디오 반응형 아바타 경험을 구축하기 위해 설계된 소스 우선(source-first) 툴킷입니다. 이 툴킷은 스트리밍 모노 PCM 오디오를 분석하여 캐릭터 애니메이션을 구동하는 브라우저 기반 TypeScript 엔진을 특징으로 하며, 특히 Canvas 2D를 통해 렌더링되는 레이어형 PNG 캐릭터의 5가지 입 모양 상태와 자동 눈깜빡임을 관리합니다. 주요 기능은 다음과 같습니다: - 오디오 통합: 라이브 마이크 입력, 로컬 오디오 파일 및 스트리밍 TTS(KittenTTS 경유)를 포함한 다양한 오디오 소스를 지원합니다. - 보이스 에이전트 지원: 풀 듀플렉스(full-duplex) 대화를 위해 Azure OpenAI Realtime 보이스 에이전트와 통합할 수 있는 게이트웨이를 포함합니다. - 에셋 관리: 몸, 눈, 입 레이어를 정의하기 위해 특정 JSON 기반 캐릭터 형식을 사용합니다. 여기에는 이러한 에셋을 생성하고 검증하기 위한 Codex 기반의 'Skill'이 포함되어 있습니다. - 모듈형 아키텍처: 미디어 획득, 모션 분석(PCMAnalyzer 및 MouthClassifier) 및 렌더링을 분리하여, 향후 Live2D 또는 3D 렌더러로 확장할 수 있는 가능성을 열어두었습니다. 이 툴킷은 실시간 음성 반응 및 로컬 오디오 재생을 보여주기 위한 일련의 예제 캐릭터와 데모 애플리케이션을 제공합니다.