প্রকল্প সম্পর্কে

Basic Pitch হলো Spotify-এর Audio Intelligence Lab দ্বারা বিকশিত স্বয়ংক্রিয় সঙ্গীত ট্রান্সক্রিপশন (AMT)-এর জন্য একটি Python লাইব্রেরি। এটি একটি হালকা নিউরাল নেটওয়ার্ক ব্যবহার করে অডিও ফাইলকে MIDI-তে রূপান্তর করে, যার মধ্যে পিচ বেন্ড তথ্যও অন্তর্ভুক্ত। প্রকল্পটি যন্ত্র-নিরপেক্ষ এবং পলিফোনিক ট্রান্সক্রিপশন সমর্থন করে, যদিও এটি একবারে একটি যন্ত্রে সর্বোত্তম কাজ করে। লাইব্রেরিটি pip-এর মাধ্যমে ইনস্টল করা যায় (`pip install basic-pitch`) এবং npm ইনস্টলেশনের জন্য একটি সহোদর TypeScript রিপোজিটরিও রয়েছে। এটি macOS, Windows এবং Ubuntu সমর্থন করে, Python সংস্করণ 3.7 থেকে 3.11 পর্যন্ত। Mac M1 হার্ডওয়্যারে বর্তমানে শুধুমাত্র Python 3.10 সমর্থিত। Basic Pitch একাধিক মডেল রানটাইম বিকল্পের সাথে আসে: মূল TensorFlow মডেল এবং CoreML, TensorFlowLite এবং ONNX-এ রূপান্তর। ডিফল্টভাবে, এটি প্ল্যাটফর্মের উপর ভিত্তি করে একটি রানটাইম নির্বাচন করে—macOS-এ CoreML, Linux-এ TensorFlowLite এবং Windows-এ ONNX—Python 3.11+ ব্যবহার না করলে TensorFlow ইনস্টল না করেই। ব্যবহারকারীরা `pip install basic-pitch[tf]` দিয়ে স্পষ্টভাবে TensorFlow ইনস্টল করতে পারেন। লাইব্রেরিটি একটি কমান্ড-লাইন ইন্টারফেস এবং একটি প্রোগ্রাম্যাটিক API উভয়ই প্রদান করে। CLI একটি আউটপুট ডিরেক্টরি এবং এক বা একাধিক ইনপুট অডিও পাথ গ্রহণ করে, এবং ঐচ্ছিকভাবে সোনিফাইড MIDI WAV হিসেবে, কাঁচা মডেল আউটপুট NPZ হিসেবে এবং নোট ইভেন্ট CSV হিসেবে সংরক্ষণ করতে পারে। প্রোগ্রাম্যাটিক API-তে `predict()` রয়েছে যা মডেল আউটপুট, MIDI ডেটা এবং নোট ইভেন্ট ফেরত দেয়, এবং `predict_and_save()` যা আউটপুট জেনারেশন পরিচালনা করে। বারবার পূর্বাভাসের জন্য, ব্যবহারকারীরা একবার মডেল লোড করে `predict()`-এ পাস করতে পারেন যাতে অপ্রয়োজনীয় লোডিং এড়ানো যায়। সমর্থিত অডিও ফরম্যাটের মধ্যে রয়েছে mp3, ogg, wav, flac এবং m4a। স্টেরিও ইনপুট মনো-তে ডাউন-মিক্স করা হয় এবং সমস্ত অডিও 22050 Hz-এ রিস্যাম্পল করা হয়। মডেল যেকোনো দৈর্ঘ্যের অডিও প্রক্রিয়া করতে পারে, যদিও খুব বড় ফাইল উপলব্ধ ডিস্ক স্পেস দ্বারা সীমাবদ্ধ হতে পারে। Basic Pitch ICASSP 2022-এ উপস্থাপিত একটি গবেষণা পত্রের সাথে প্রকাশিত হয়েছিল, যার শিরোনাম ছিল "A Lightweight Instrument-Agnostic Model for Polyphonic Note Transcription and Multipitch Estimation।" basicpitch.io-তে একটি ডেমো উপলব্ধ এবং একজন কমিউনিটি সদস্য NeuralNote নামে একটি VST সংস্করণ তৈরি করেছেন। প্রকল্পটি Apache 2.0 লাইসেন্সের অধীনে এবং অবদানকে স্বাগত জানায়।