muzic

Muzic é um projeto de pesquisa da Microsoft Research Asia que reúne uma família de sistemas de aprendizado profundo para compreensão e geração musical. O repositório atua como um hub que conecta subprojetos individuais, cada um com seu próprio README, código e referência de artigo. No lado da compreensão, Muzic inclui MusicBERT para compreensão musical simbólica via pré-treinamento em larga escala, PDAugment para aumento de dados de altura e duração na transcrição automática de letras, e CLaMP, um modelo de pré-treinamento contrastivo de linguagem-música para recuperação de informações musicais simbólicas entre modalidades (vencedor do Prêmio de Melhor Artigo de Estudante no ISMIR 2023). No lado da geração, o projeto cobre composição de canções (SongMASS para letra-melodia e melodia-letra, DeepRapper para geração de rap com modelagem de rima e ritmo, TeleMelody, ReLyMe e Re-creation of Creations para letra-melodia), modelagem de forma e estrutura musical (MeloForm e Museformer), geração de múltiplas faixas (PopMAG para acompanhamento e GETMusic para geração de qualquer faixa via representação unificada e estrutura de difusão), composição texto-música (MuseCoco) e síntese de voz cantada (HiFiSinger). MusicAgent é um agente de IA baseado em LLM para processamento musical versátil. O projeto é orientado a Linux, testado no Ubuntu 16.04.6 LTS com CUDA 10 e Python 3.6.12, e as dependências estão listadas em requirements.txt. Cada pasta de subprojeto contém instruções detalhadas de uso, e amostras de música gerada são exibidas no site do projeto. Muzic aceita contribuições sob um Contrato de Licença de Contribuidor e o Código de Conduta de Código Aberto da Microsoft.