عن المشروع

audioFlux هي مكتبة مفتوحة المصدر لتحليل الصوت والموسيقى واستخراج الميزات، منفذة بلغة C مع ارتباطات Python. صُممت حول بنية تدفق البيانات التي تفصل وحدات الخوارزميات بحيث يمكن استخراج الميزات متعددة الأبعاد بسرعة وكفاءة. يستهدف المشروع سير عمل التعلم العميق في الصوت، بما في ذلك التصنيف وفصل المصادر واسترجاع معلومات الموسيقى (MIR) وASR. تُنظم المكتبة في ثلاث وحدات رئيسية: transform وfeature وmir. توفر وحدة transform تمثيلات الزمن-التردد. يدعم BFT (المستند إلى تحويل فورييه، المشابه لـ STFT) وNSGT (تحويل غابور غير المستقر) وCWT (تحويل المويجات المستمر) وPWT (تحويل المويجات الزائف) أنواع متعددة من مقاييس التردد: linear وlinspace وMel وBark وErb وOctave وLog. تُقدم تحويلات أخرى كطرق مستقلة: CQT (تحويل ثابت Q) وVQT (تحويل متغير Q) وST (تحويل S/تحويل Stockwell) وFST (تحويل S السريع) وDWT (تحويل المويجات المتقطع) وWPT (تحويل حزمة الموجات) وSWT (تحويل المويجات الثابت). كما تُضمَّن تقنيات الضغط التزامني وإعادة الإسناد: reassign لـ STFT وsynsq باستخدام بيانات CWT وwsst لـ CWT. تتضمن وحدة feature ميزات طيفية (تدعم جميع أنواع الطيف)، ومعاملات cepstrum (xxcc)، وإزالة الالتفاف للأطياف، وميزات chroma (تدعم طيف CQT والأطياف الخطية/الأوكتافية المستندة إلى BFT). تغطي وحدة mir تقدير النغمة (YIN وSTFT وغيرها)، وكشف البداية (التدفق الطيفي والحداثة وغيرها)، وفصل المصادر التوافقية-الإيقاعية (الترشيح الوسيط وNMF). أضافت الإصدارات الأخيرة مجموعة من خوارزميات النغمة (YIN وCEP وPEF وNCF وHPS وLHS وSTFT وFFP)، وخوارزميات PitchShift وTimeStretch، وخوارزمية TuneTrack المخصصة لموالفات الآلات الموسيقية التي تشمل الغيتار والأوكوليل والغيتار الجهير والبانجو والماندولين والكمان. يتوفر التثبيت عبر PyPI (`pip install audioflux`) أو Anaconda، ويتطلب Python 3.6 أو أحدث. المكتبة متعددة المنصات، وتدعم Linux وmacOS وWindows وiOS وAndroid، مع تعليمات بناء منفصلة لـ iOS وAndroid والبناء من المصدر. تُستضاف الوثائق والنصوص البرمجية المثالية عبر الإنترنت، وتغطي Mel وMFCC وCWT والضغط التزامني وCQT وchroma وأنواع المويجات المختلفة والميزات الطيفية وتقدير النغمة وكشف البداية وفصل المصادر التوافقية-الإيقاعية. توفر وحدة benchmark قياسات الأداء، ويُصدر المشروع تحت رخصة MIT.