Об этом проекте

audioFlux — это библиотека с открытым исходным кодом для анализа аудио и музыки и извлечения признаков, реализованная на C с привязками к Python. Она спроектирована вокруг архитектуры потока данных, которая разделяет алгоритмические модули, что позволяет быстро и эффективно извлекать многомерные признаки. Проект ориентирован на рабочие процессы глубокого обучения в аудио, включая классификацию, разделение источников, поиск музыкальной информации (MIR) и ASR. Библиотека организована в три основных модуля: transform, feature и mir. Модуль transform предоставляет частотно-временные представления. BFT (базовое преобразование Фурье, аналогичное STFT), NSGT (нестационарное преобразование Габора), CWT (непрерывное вейвлет-преобразование) и PWT (псевдо-вейвлет-преобразование) поддерживают несколько типов частотных шкал: линейную, linspace, Mel, Bark, Erb, Octave и Log. Другие преобразования предлагаются как независимые методы: CQT (преобразование с постоянным Q), VQT (преобразование с переменным Q), ST (S-преобразование/преобразование Стоквелла), FST (быстрое S-преобразование), DWT (дискретное вейвлет-преобразование), WPT (вейвлет-пакетное преобразование) и SWT (стационарное вейвлет-преобразование). Также включены методы синхросжатия и перераспределения: reassign для STFT, synsq с использованием данных CWT и wsst для CWT. Модуль feature включает спектральные признаки (поддерживающие все типы спектров), кепстральные коэффициенты (xxcc), деконволюцию для спектров и хроматические признаки (поддерживающие спектр CQT и линейные/октавные спектры на основе BFT). Модуль mir охватывает оценку высоты тона (YIN, STFT и другие), обнаружение начала звука (спектральный поток, новизна и другие) и гармонико-перкуссионное разделение источников (медианная фильтрация и NMF). Недавние выпуски добавили ряд алгоритмов оценки высоты тона (YIN, CEP, PEF, NCF, HPS, LHS, STFT, FFP), алгоритмы PitchShift и TimeStretch, а также алгоритм TuneTrack, предназначенный для тюнеров инструментов, охватывающий гитару, укулеле, бас, банджо, мандолину и скрипку. Установка доступна через PyPI (`pip install audioflux`) или Anaconda, требуется Python 3.6 или новее. Библиотека кроссплатформенная, поддерживает Linux, macOS, Windows, iOS и Android, с отдельными инструкциями по сборке для iOS, Android и из исходного кода. Документация и примеры скриптов размещены онлайн, охватывая Mel и MFCC, CWT и синхросжатие, CQT и хроматические признаки, различные типы вейвлетов, спектральные признаки, оценку высоты тона, обнаружение начала звука и гармонико-перкуссионное разделение источников. Модуль benchmark предоставляет измерения производительности, а проект выпущен под лицензией MIT.