muzic

Muzic是微软亚洲研究院的一个研究项目，汇集了一系列用于音乐理解和生成的深度学习系统。该仓库作为一个枢纽，链接到各个子项目，每个子项目都有各自的README、代码和论文参考。 在理解方面，Muzic包括用于符号音乐理解的MusicBERT（通过大规模预训练）、用于自动歌词转录中音高和时长数据增强的PDAugment，以及CLaMP，一种用于跨模态符号音乐信息检索的对比语言-音乐预训练模型（荣获ISMIR 2023最佳学生论文奖）。 在生成方面，该项目涵盖歌曲创作（SongMASS用于歌词到旋律和旋律到歌词、DeepRapper用于带韵律和节奏建模的说唱生成、TeleMelody、ReLyMe和Re-creation of Creations用于歌词到旋律）、音乐形式和结构建模（MeloForm和Museformer）、多轨生成（PopMAG用于伴奏生成，GETMusic通过统一表示和扩散框架实现任意轨生成）、文本到音乐创作（MuseCoco）以及歌声合成（HiFiSinger）。MusicAgent是一个基于LLM的AI代理，用于多功能音乐处理。 该项目面向Linux系统，已在Ubuntu 16.04.6 LTS上使用CUDA 10和Python 3.6.12进行测试，依赖项列在requirements.txt中。每个子项目文件夹包含详细的使用说明，生成的音乐样本在项目网站上展示。Muzic欢迎在贡献者许可协议和微软开源行为准则下做出贡献。