इस प्रोजेक्ट के बारे में

Hoho Avatar एक सोर्स-फर्स्ट टूलकिट है जिसे ऑडियो-रिएक्टिव अवतार अनुभव बनाने के लिए डिज़ाइन किया गया है। इसमें एक ब्राउज़र-आधारित TypeScript इंजन है जो स्ट्रीमिंग मोनो PCM ऑडियो का विश्लेषण करता है ताकि कैरेक्टर एनिमेशन को चलाया जा सके, विशेष रूप से Canvas 2D के माध्यम से रेंडर किए गए लेयर्ड PNG कैरेक्टर्स के लिए पांच मुंह की स्थितियों और स्वचालित पलक झपकाने (blinking) का प्रबंधन करता है। मुख्य क्षमताओं में शामिल हैं: - ऑडियो इंटीग्रेशन: लाइव माइक्रोफोन इनपुट, स्थानीय ऑडियो फाइलों और स्ट्रीमिंग TTS (KittenTTS के माध्यम से) सहित विभिन्न ऑडियो स्रोतों का समर्थन करता है। - वॉयस एजेंट सपोर्ट: फुल-डुप्लेक्स बातचीत के लिए Azure OpenAI Realtime वॉयस एजेंट के साथ एकीकरण के लिए एक गेटवे शामिल है। - एसेट मैनेजमेंट: बॉडी, आंख और मुंह की परतों को परिभाषित करने के लिए एक विशिष्ट JSON-आधारित कैरेक्टर फॉर्मेट का उपयोग करता है। इसमें इन एसेट्स को उत्पन्न और मान्य करने के लिए एक Codex-आधारित 'Skill' शामिल है। - मॉड्यूलर आर्किटेक्चर: मीडिया अधिग्रहण, मोशन एनालिसिस (PCMAnalyzer और MouthClassifier) और रेंडरिंग को अलग करता है, जिससे भविष्य में Live2D या 3D रेंडरर्स तक विस्तार की संभावना बनी रहती है। यह टूलकिट वास्तविक समय की वॉयस रिएक्शन और स्थानीय ऑडियो प्लेबैक प्रदर्शित करने के लिए उदाहरण कैरेक्टर्स और एक डेमो एप्लिकेशन प्रदान करता है।