منصوبے کے بارے میں

وکس سی پی ایم 2 اوپن بی ایم بی کے طرف سے ایک اوپن سورس ٹیکسٹ ٹو اسپیچ سسٹم ہے جو ڈسکریٹ ٹوکنائزیشن سے پرہیز کرتا ہے اور اینڈ ٹو اینڈ ڈفیوژن آٹو ریگریسو آرکیٹیکچر کے ذریعے مسلسل آواز کی نمائندگی پیدا کرتا ہے۔ تازہ ترین 2 بلین پیرامیٹر والی ریلیز ملٹی لونگل اسپیچ ڈیٹا پر تربیت یافتہ ہے اور 30 زبانوں کو سپورٹ کرتا ہے جن میں سچوانیز، کینٹونیز اور وو جیسے چینی ڈائلیکٹس شامل ہیں۔ ریڈ می میں بیان کردہ اہم خصوصیات میں زبان ٹیگز کے بغیر ملٹی لونگل سن تھیسز، قدرتی زبان کی تفصیلات (جنس، عمر، لہجہ، جذبات، رفتار) سے وائس ڈیزائن، مختصر حوالہ کلپ سے قابل کنٹرول وائس کلوننگ اور "حتمی کلوننگ" موڈ شامل ہے جو حوالہ آڈیو اور اس کی ٹرانسکرپٹ دونوں کا استعمال کر کے آواز کی باریکیوں کو دوبارہ پیدا کرتا ہے۔ آڈیو وی اے ای وی 2 کا غیر متوازن انکوڈ/ڈکوڈ ڈیزائن 16 کلو ہرٹز حوالہ آڈیو قبول کرتا ہے اور بلٹ ان سپر ریزولیوشن کے ساتھ 48 کلو ہرٹز آڈیو پیدا کرتا ہے۔ پروجیکٹ میں python اے پی آئی، سی ایل آئی، اور ویب ڈیمو کے ساتھ ساتھ سٹریمنگ جنریشن بھی شامل ہے۔ ڈیپلائمنٹ کے اختیارات میں نینو وی ایل ایم ہائی تھرو پٹ سرونگ کے لیے، وی ایل ایم اومنی اوپن اے آئی کے مطابقت والے /v1/audio/speech اینڈ پوائنٹ کے لیے، اور llama.cpp-omni اوئن ڈیوائس C++ انفیرنس کے لیےGGUF وزنز کے ساتھ سی پی یو، میتل، سی یو ڈی اے، یا وائلن کے لیے شامل ہیں۔ایس ایف ٹی اور لو اے آرہ کے ذریعے فائن ٹیوننگ کی حمایت حاصل ہے۔وزن اور کوڈ کمرشل استعمال کے لیے اپاچی-2.0 کے تحت جاری کیا گیا ہے۔ ریڈ می میںseed-tts-eval پر بینچ مارک نتائج کی فہرست بھی شامل ہے اور خطرات اور حدود کی نشاندہی کرتا ہے۔ یہ جائزہ صرف ریپوزٹری کی ریڈ می پر مبنی ہے اور پرفارمنس کے دعوؤں کی خود مختار تصدیق نہیں کرتا۔