عن المشروع

YuE2 هو مشروع توليد موسيقي من مجموعة multimodal-art-projection (HKUST, M·A·P, Tokenwave.AI, NYU, Stanford, MBZUAI, NOIZ, ACE Studio). الهدف المعلن هو توحيد التوليد الموسيقي الرمزي والصوتي: مع كلمات ونمط، يكتب أولا خطة لل旋律 والأوتار، ثم ي realizes ذلك الخطة كأغنية كاملة مع الغناء والموسيقى التصويرية. السمة الرئيسية الموصوفة في README: التخطيط الرمزي كواجهة شفافة. التكوين المولود هو نتيجة قابلة للتعديل (تنسيق ABC) يمكن لشخص أو وكيل قراءته، ولعبته، وفحصه، وتعديله قبل العرض. تصبح旋律 والأوتار تحكم صريح. الغطاء الصفري. يمكن نسخ تسجيل مصدر مع نموذج SheetSage2 المرافق، ويمكن إعادة عرض نتيجة التحرير الناتجة بنمط جديد. يوصي README ب cot = "melody" مع نتيجة تفتقد إلى رموز الأوتار حتى يتمكن الترافيق من التكيف مع النمط الجديد. تحرير الموسيقى العامل. يمكن تصدير الخطة، وتنقيحها (التناغم، وال旋律، والسرعة، والشكل، والكلمات)، وإعادة عرضها كتسجيل جديد كامل. يلاحظ README أن التحرير يولد تسجيلًا جديدًا ولا يحافظ على الشكل الأصلي خارج التحرير. حزمة مهارات الوكيل (skills/yue2-music/SKILL.md) توثق كيف يمكن لوكيل توليد الأغاني، ونسخ التسجيلات، وتحرير نتيجة ABC، وفحص الثوابت الموسيقية، وتنظيم مقارنات الاستماع. الهيكل والخط أنابيب: يتنبأ هيكل AR-NAR Mixture-of-Transformers الخلفي بنتيجة رمزية ورموز دلالية بشكل تتابعي، ثم يولد محسوسات صوتية مع مطابقة التدفق؛ فك ترميز VAE محسوسات إلى صوت استريو 48 kHz. واجهة API البايثون المتدرجة تعرض plan() → generate_semantic() → synthesize() → decode(). يتضمن أوضاع التوليد cot = "full" (خطة旋律 وأوتار قابلة للتعديل، افتراضي)، cot = "melody" (خطة旋律 مع ترافيق حر، موصى به للغطاء)، cot = "off" (مباشرة من الكلمات والنمط)، و abc = ... لتوفير نتيجة الخاصة بك. المتطلبات والبدء السريع: لينكس، بايثون 3.12، NVIDIA GPU مع دعم BF16 و 24 GB VRAM. التثبيت عن طريق pip install . من استنساخ المستودع، متبوعًا ب examples/generate.py. يتم تحميل ملفات النموذج من Hugging Face عند الاستخدام الأول. النواتج تحتفظ بالنتيجة، والرموز الدلالية، والمحسوسات الصوتية، وإعدادات التوليد، وهوية النموذج إلى جانب الصوت. النماذج والمرافق والموارد: YuE2-3B (التوليد، والتخطيط، والغطاء، والتحرير)، YuE2-Vae و YuE2-Vae-legacy (فك الترميز)، SheetSage2 (نسخ الصوت إلى نتيجة)، MERT-v2-FullSong و MERT-v2-30s (تمثيلات الموسيقى)، ومجموعة بيانات WildSongBench للتقييم. استخراج ميزة MERT2 اختياري للتوليد. يبلغ README عن نتائج البenchmarks على WildSongBench (192 نمط، التقييم التلقائي) مقارنة YuE2 مع عدة أنظمة مملوكة و مفتوحة، ويبلغ عن نتائج الغطاء الصفري على 948 عمل. كما يبلغ عن نتائج MERT2 على MARBLE و GTZAN، ونتائج SheetSage2 على معايير النسخ. هذه هي الأرقام المبلغة من قبل المشروع نفسه؛ يلاحظ README نفسه أن التصنيفات تختلف حسب المقياس وأن الفجوات الصغيرة بين الوسائل العليا لا تحدد الدلالة الإحصائية. الترخيص: شفرة الطرف الأول، مهارة الوكيل، والتوثيق هي Apache 2.0؛ أوزان النموذج مرخصة بشكل منفصل CC BY-NC 4.0؛ مكونات الطرف الثالث تحتفظ برخصها الأصلية. الشفرة والتوثيق والترخيص السابق YuE-v1 محفوظة على فرع منفصل.