منصوبے کے بارے میں

YuE2 ملٹی موڈل-آرٹ-پروجیکشن گروپ (HKUST، M·A·P، Tokenwave.AI، NYU، Stanford، MBZUAI، NOIZ، ACE Studio) کا ایک میوزک جنریشن پروجیکٹ ہے۔ اس کا بیان کردہ مقصد علامتی اور آڈیو میوزک جنریشن کو یکجا کرنا ہے: بول اور اسٹائل پرامپٹ دیے جانے پر، یہ پہلے دھن اور کورڈ کا منصوبہ لکھتا ہے، پھر اس منصوبے کو آواز اور ہم آہنگی کے ساتھ مکمل گانے کے طور پر عملی جامہ پہناتا ہے۔ README میں بیان کردہ اہم صلاحیتیں: - علامتی منصوبہ بندی بطور وائٹ باکس انٹرفیس۔ تیار کردہ کمپوزیشن ایک قابلِ ترمیم اسکور (ABC نوٹیشن) ہے جسے کوئی شخص یا ایجنٹ رینڈرنگ سے پہلے پڑھ، چلا، معائنہ اور تبدیل کر سکتا ہے۔ دھن اور کورڈ واضح کنٹرول بن جاتے ہیں۔ - زیرو شاٹ کور۔ کسی ماخذ ریکارڈنگ کو ساتھی SheetSage2 ماڈل سے ٹرانسکرائب کیا جا سکتا ہے، اور نتیجے میں بننے والے دھن اسکور کو نئے اسٹائل میں دوبارہ رینڈر کیا جا سکتا ہے۔ README cot="melody" کے ساتھ ایسا اسکور تجویز کرتا ہے جس میں کورڈ علامات نہ ہوں تاکہ ہم آہنگی نئے اسٹائل کے مطابق ڈھل جائے۔ - ایجنٹک میوزک ایڈیٹنگ۔ کسی منصوبے کو برآمد، نظرثانی (ہارمونی، دھن، ٹیمپو، فارم، بول) اور نئی مکمل ریکارڈنگ کے طور پر دوبارہ رینڈر کیا جا سکتا ہے۔ README نوٹ کرتا ہے کہ ایڈیٹنگ نئی ریکارڈنگ بناتی ہے اور کسی ترمیم کے باہر اصل ویو فارم محفوظ نہیں رکھتی۔ - ایک ایجنٹ اسکل پیکیج (skills/yue2-music/SKILL.md) جو دستاویز کرتا ہے کہ ایجنٹ کیسے گانے تیار کر سکتا ہے، ریکارڈنگز ٹرانسکرائب اور کور کر سکتا ہے، ABC اسکورز میں ترمیم کر سکتا ہے، موسیقی کے غیر متغیرات کی جانچ کر سکتا ہے، اور سماعت کے موازنے منظم کر سکتا ہے۔ فن تعمیر اور پائپ لائن: ایک واحد AR–NAR Mixture-of-Transformers بیک بون اسکور اور سیمنٹک ٹوکنز کو خودکار طور پر پیش گوئی کرتا ہے، پھر فلو میچنگ کے ساتھ صوتی لیٹنٹس تیار کرتا ہے؛ ایک VAE لیٹنٹس کو 48 kHz اسٹیریو آڈیو میں ڈی کوڈ کرتا ہے۔ مرحلہ وار Python API plan() → generate_semantic() → synthesize() → decode() کو ظاہر کرتا ہے۔ جنریشن موڈز میں cot="full" (قابلِ ترمیم دھن اور کورڈ منصوبہ، ڈیفالٹ)، cot="melody" (آزاد ہم آہنگی کے ساتھ دھن منصوبہ، کور کے لیے تجویز کردہ)، cot="off" (براہ راست بول اور اسٹائل سے)، اور abc=... اپنا اسکور فراہم کرنے کے لیے شامل ہیں۔ تقاضے اور فوری آغاز: Linux، Python 3.12، BF16 سپورٹ اور 24 GB VRAM والا NVIDIA GPU۔ تنصیب ریپوزٹری کے کلون سے pip install . کے ذریعے، پھر examples/generate.py۔ ماڈل فائلیں پہلی استعمال پر Hugging Face سے ڈاؤن لوڈ ہوتی ہیں۔ آؤٹ پٹس آڈیو کے ساتھ ساتھ اسکور، سیمنٹک ٹوکنز، صوتی لیٹنٹس، جنریشن سیٹنگز اور ماڈل شناختیں محفوظ رکھتے ہیں۔ ساتھی ماڈلز اور وسائل: YuE2-3B (جنریشن، منصوبہ بندی، کور، ایڈیٹنگ)، YuE2-Vae اور YuE2-Vae-legacy (ڈی کوڈرز)، SheetSage2 (آڈیو سے اسکور ٹرانسکرپشن)، MERT-v2-FullSong اور MERT-v2-30s (میوزک نمائندگیاں)، اور WildSongBench تشخیصی ڈیٹاسیٹ۔ MERT2 فیچر ایکسٹریکشن جنریشن کے لیے اختیاری ہے۔ README WildSongBench (192 پرامپٹس، خودکار تشخیص) پر بینچ مارک نتائج رپورٹ کرتا ہے جو YuE2 کا کئی ملکیتی اور اوپن سسٹمز سے موازنہ کرتے ہیں، اور 948 کاموں پر زیرو شاٹ کور نتائج رپورٹ کرتا ہے۔ یہ MARBLE اور GTZAN پر MERT2 نتائج، اور ٹرانسکرپشن بینچ مارکس پر SheetSage2 نتائج بھی رپورٹ کرتا ہے۔ یہ پروجیکٹ کے اپنے رپورٹ کردہ اعداد و شمار ہیں؛ README خود نوٹ کرتا ہے کہ درجہ بندی میٹرک کے لحاظ سے مختلف ہوتی ہے اور اعلیٰ اوسطوں کے درمیان چھوٹے فرق شماریاتی اہمیت قائم نہیں کرتے۔ لائسنسنگ: فرسٹ پارٹی کوڈ، ایجنٹ اسکل اور دستاویزات Apache 2.0 ہیں؛ ماڈل ویٹس الگ سے CC BY-NC 4.0 کے تحت لائسنس یافتہ ہیں؛ تھرڈ پارٹی اجزاء اپنے اصل لائسنس برقرار رکھتے ہیں۔ پہلے والا YuE-v1 کوڈ، دستاویزات اور لائسنس ایک الگ برانچ پر محفوظ ہیں۔