প্রকল্প সম্পর্কে

Magenta RealTime 2 (MRT2) হলো Magenta প্রকল্পের প্রকাশিত রিয়েল-টাইম মিউজিক জেনারেশনের জন্য একটি ওপেন-ওয়েটস মডেল। রিপোজিটরিতে কয়েকটি উপাদান একসাথে রয়েছে: মডেল ওয়েটস, JAX ও MLX ব্যাকএন্ডসহ `magenta-rt` নামের একটি Python ইনফারেন্স লাইব্রেরি, Apple Silicon MacBook-এ দক্ষ স্ট্রিমিং অডিও জেনারেশনের লক্ষ্যে তৈরি একটি C++ ইনফারেন্স ইঞ্জিন (`magentart::core`), এবং সেই ইঞ্জিনের উপর নির্মিত কিছু উদাহরণ অ্যাপ্লিকেশন। ব্যবহারের উদ্দেশ্যগুলোর মধ্যে রয়েছে সরাসরি ইনফারেন্স চালানো, একটি DAW প্লাগইন তৈরি করা, বা নতুন অ্যাপ্লিকেশনে মডেলটি এমবেড করা। README-তে উল্লেখ করা হয়েছে যে সুপারভাইজড ফাইন-টিউনিং সাপোর্ট ভবিষ্যতের আপডেটে পরিকল্পিত রয়েছে। রিপোজিটরি লেআউটের গুরুত্বপূর্ণ অংশ: - `magenta_rt/` — JAX / MLX ব্যাকএন্ডসহ Python ইনফারেন্স লাইব্রেরি। - `core/` — C++ ইনফারেন্স লাইব্রেরি (`magentart::core`)। - `examples/mrt2/auv3` — DAW-এর জন্য অল-ইন-ওয়ান AUv3 প্লাগইন। - `examples/mrt2/standalone` — অল-ইন-ওয়ান স্ট্যান্ডঅ্যালোন macOS অ্যাপ। - `examples/jam/` — নোট কন্ট্রোল অন্বেষণের অ্যাপ। - `examples/collider/` — প্রম্পট স্পেস অন্বেষণের অ্যাপ। - `notebooks/` — Python API ব্যবহার করে দেখার নোটবুক। হার্ডওয়্যার প্রয়োজনীয়তা: রিয়েল-টাইম স্ট্রিমিংয়ের জন্য Apple Silicon (M-সিরিজ) প্রয়োজন। দুটি মডেল সাইজ দেওয়া হয়: `mrt2_small` (230M প্যারামিটার), যা README অনুযায়ী Air মডেলসহ যেকোনো Apple Silicon Mac-এ রিয়েল টাইমে চলে, এবং `mrt2_base` (2.4B প্যারামিটার), যা উচ্চতর কোয়ালিটির বলে বর্ণিত এবং রিয়েল-টাইম স্ট্রিমিংয়ের জন্য Pro Max চিপ প্রয়োজন। README-তে একটি ডিভাইস সামঞ্জস্য সারণি রয়েছে যেখানে প্রতিটি মডেল সাইজের জন্য কোন চিপগুলো রিয়েল-টাইম স্ট্রিমিং সমর্থন করে তা তালিকাভুক্ত করা হয়েছে। Python লাইব্রেরির মাধ্যমে উভয় মডেলই যেকোনো Apple Silicon Mac বা NVIDIA GPU-তে অফলাইন (নন-রিয়েল-টাইম) ইনফারেন্স চালাতে পারে। Apple Silicon-এ কুইকস্টার্টে রয়েছে `uv` ইনস্টল করা, একটি Python 3.12 ভার্চুয়াল এনভায়রনমেন্ট তৈরি করা, `magenta-rt[mlx]` ইনস্টল করা, `mrt models` কমান্ডের মাধ্যমে মডেল ইনিশিয়ালাইজ ও ডাউনলোড করা, এবং `mrt mlx generate --prompt "disco funk" --duration 4.0 --model=mrt2_base` দিয়ে অডিও জেনারেট করা। স্থানীয় ডেভেলপমেন্টের জন্য README-তে সাবমডিউলসহ রিপোজিটরি ক্লোন করে এডিটেবল মোডে ইনস্টল করার পরামর্শ দেওয়া হয়েছে। C++ অ্যাপ ডেভেলপমেন্টের জন্য এতে CMake ইনস্টল করা, `hello_mrt2` টার্গেট বিল্ড করা, এবং একটি টেক্সট প্রম্পটসহ ডাউনলোড করা মডেল ফাইল ও রিসোর্সেস ডিরেক্টরির বিপরীতে এটি চালানোর বর্ণনা রয়েছে। ডকুমেন্টেশন লিংকগুলো ইনস্টলেশন, মডেল ও চেকপয়েন্ট, ইনফারেন্স, মডেল এক্সপোর্ট, লেটেন্সি বেঞ্চমার্কিং, এবং টেস্টিং কভার করে। অতিরিক্ত রিসোর্সের মধ্যে রয়েছে একটি গেটিং-স্টার্টেড পেজ, একটি ব্লগ পোস্ট, এবং Hugging Face-এ মডেলটি। README-তে "Live Music Models" শিরোনামের একটি সম্পর্কিত টেকনিক্যাল রিপোর্টের জন্য BibTeX সাইটেশনও দেওয়া হয়েছে।