Об этом проекте

Muzic — это исследовательский проект Microsoft Research Asia, объединяющий семейство систем глубокого обучения для понимания и генерации музыки. Репозиторий служит хабом, связывающим отдельные подпроекты, каждый из которых имеет собственный README, код и ссылку на статью. В части понимания музыки Muzic включает MusicBERT для понимания символической музыки с помощью крупномасштабного предобучения, PDAugment для аугментации данных по высоте и длительности нот в автоматической транскрипции текстов песен, а также CLaMP — контрастивную модель предобучения языка и музыки для кросс-модального поиска информации в символической музыке (победитель премии за лучшую студенческую статью на ISMIR 2023). В части генерации проект охватывает написание песен (SongMASS для преобразования текста в мелодию и мелодии в текст, DeepRapper для генерации рэпа с моделированием рифмы и ритма, TeleMelody, ReLyMe и Re-creation of Creations для преобразования текста в мелодию), моделирование музыкальной формы и структуры (MeloForm и Museformer), генерацию многодорожечных композиций (PopMAG для аккомпанемента и GETMusic для генерации произвольных дорожек с помощью унифицированного представления и диффузионной структуры), композицию из текста в музыку (MuseCoco) и синтез певческого голоса (HiFiSinger). MusicAgent — это ИИ-агент на основе LLM для универсальной обработки музыки. Проект ориентирован на Linux, протестирован на Ubuntu 16.04.6 LTS с CUDA 10 и Python 3.6.12, а зависимости перечислены в requirements.txt. Каждая папка подпроекта содержит подробные инструкции по использованию, а примеры сгенерированной музыки представлены на веб-сайте проекта. Muzic приветствует вклад в рамках Соглашения о лицензии участника и Кодекса поведения Microsoft для открытого исходного кода.