hoho-avatar

Hoho Avatarは、オーディオリアクティブなアバター体験を構築するために設計されたソースファーストのツールキットです。ブラウザベースのTypeScriptエンジンを搭載し、ストリーミングされるモノラルPCMオーディオを分析してキャラクターアニメーションを駆動させます。具体的には、Canvas 2Dでレンダリングされるレイヤー化されたPNGキャラクター向けに、5つの口の状態管理と自動まばたき機能を制御します。 主な機能は以下の通りです： - オーディオ統合：ライブマイク入力、ローカルオーディオファイル、およびストリーミングTTS（KittenTTS経由）を含む様々なオーディオソースをサポートしています。 - ボイスエージェント対応：フルデュプレックス（全二重）会話を実現するため、Azure OpenAI Realtimeボイスエージェントと統合するためのゲートウェイを備えています。 - アセット管理：身体、目、口のレイヤーを定義するために、特定のJSONベースのキャラクターフォーマットを使用します。また、これらのアセットを生成および検証するためのCodexベースの「Skill」が含まれています。 - モジュール式アーキテクチャ：メディア取得、モーション分析（PCMAnalyzerおよびMouthClassifier）、およびレンダリングを分離しており、将来的にLive2Dや3Dレンダラーへの拡張が可能です。 本ツールキットには、リアルタイムの音声反応とローカルオーディオ再生を実演するためのサンプルキャラクターセットとデモアプリケーションが提供されています。