প্রকল্প সম্পর্কে

Dia হল Nari Labs দ্বারা তৈরি একটি 1.6B প্যারামিটার টেক্সট-টু-স্পিচ মডেল। এটি একটি ট্রান্সক্রিপ্ট থেকে সরাসরি অত্যন্ত বাস্তবসম্মত সংলাপ তৈরি করে, [S1] এবং [S2] ট্যাগের মাধ্যমে একাধিক স্পিকার সমর্থন করে। মডেলটি হাসি, কাশি, দীর্ঘশ্বাস এবং গলা পরিষ্কার করার মতো অ-মৌখিক যোগাযোগ তৈরি করতে পারে। ব্যবহারকারীরা আবেগ, স্বর নিয়ন্ত্রণ এবং ভয়েস ক্লোনিংয়ের জন্য অডিও প্রম্পটে আউটপুট কন্ডিশন করতে পারেন। প্রকল্পটি Hugging Face-এ প্রি-ট্রেইনড মডেল চেকপয়েন্ট, ইনফারেন্স কোড, একটি Gradio UI, CLI এবং Transformers ইন্টিগ্রেশন প্রদান করে। বর্তমানে, মডেলটি শুধুমাত্র ইংরেজি জেনারেশন সমর্থন করে। একটি RTX 4090-এ বেঞ্চমার্ক ফলাফল প্রিসিশন এবং কম্পাইলেশনের উপর নির্ভর করে x0.9 থেকে x2.2 পর্যন্ত রিয়েলটাইম ফ্যাক্টর দেখায়, VRAM ব্যবহার 4.4GB থেকে 7.9GB এর মধ্যে। প্রকল্পটি Apache 2.0 এর অধীনে লাইসেন্সকৃত এবং গবেষণা ও শিক্ষামূলক ব্যবহারের জন্য উদ্দিষ্ট, পরিচয় অপব্যবহার, প্রতারণামূলক বিষয়বস্তু এবং অবৈধ কার্যকলাপের বিরুদ্ধে বিধিনিষেধ সহ।