প্রকল্প সম্পর্কে

Hoho Avatar হলো একটি সোর্স-ফার্স্ট টুলকিট যা অডিও-রিঅ্যাক্টিভ অবতার অভিজ্ঞতা তৈরির জন্য ডিজাইন করা হয়েছে। এতে একটি ব্রাউজার-ভিত্তিক TypeScript ইঞ্জিন রয়েছে যা স্ট্রিমিং মোনো PCM অডিও বিশ্লেষণ করে চরিত্রের অ্যানিমেশন পরিচালনা করে, বিশেষ করে Canvas 2D-এর মাধ্যমে রেন্ডার করা লেয়ারড PNG চরিত্রের জন্য পাঁচটি মুখের অবস্থা এবং স্বয়ংক্রিয় চোখের পলক নিয়ন্ত্রণ করে। এর মূল সক্ষমতাগুলোর মধ্যে রয়েছে: - অডিও ইন্টিগ্রেশন: লাইভ মাইক্রোফোন ইনপুট, লোকাল অডিও ফাইল এবং স্ট্রিমিং TTS (KittenTTS-এর মাধ্যমে) সহ বিভিন্ন অডিও সোর্স সমর্থন করে। - ভয়েস এজেন্ট সাপোর্ট: ফুল-ডুপ্লেক্স কথোপকথনের জন্য Azure OpenAI Realtime ভয়েস এজেন্টের সাথে ইন্টিগ্রেশনের জন্য একটি গেটওয়ে অন্তর্ভুক্ত রয়েছে। - অ্যাসেট ম্যানেজমেন্ট: শরীর, চোখ এবং মুখের লেয়ার সংজ্ঞায়িত করার জন্য একটি নির্দিষ্ট JSON-ভিত্তিক ক্যারেক্টার ফরম্যাট ব্যবহার করে। এতে এই অ্যাসেটগুলো তৈরি এবং যাচাই করার জন্য একটি Codex-ভিত্তিক 'Skill' অন্তর্ভুক্ত রয়েছে। - মডুলার আর্কিটেকচার: এটি মিডিয়া অ্যাকুইজিশন, মোশন অ্যানালাইসিস (PCMAnalyzer এবং MouthClassifier) এবং রেন্ডারিং-কে আলাদা করে, যা ভবিষ্যতে Live2D বা 3D রেন্ডারারে সম্প্রসারণের সুযোগ দেয়। এই টুলকিটটি রিয়েল-টাইম ভয়েস রিঅ্যাকশন এবং লোকাল অডিও প্লেব্যাক প্রদর্শনের জন্য এক সেট উদাহরণ চরিত্র এবং একটি ডেমো অ্যাপ্লিকেশন প্রদান করে।