muzic

Muzic는 Microsoft Research Asia의 연구 프로젝트로, 음악 이해와 생성을 위한 딥러닝 시스템 모음입니다. 이 저장소는 각각의 README, 코드, 논문 참조를 가진 개별 하위 프로젝트로 연결되는 허브 역할을 합니다. 이해 측면에서 Muzic는 대규모 사전 학습을 통한 기호 음악 이해를 위한 MusicBERT, 자동 가사 전사에서 피치 및 지속 시간 데이터 증강을 위한 PDAugment, 그리고 교차 모달 기호 음악 정보 검색을 위한 대조 언어-음악 사전 학습 모델인 CLaMP(ISMIR 2023에서 최우수 학생 논문상 수상)를 포함합니다. 생성 측면에서 이 프로젝트는 작곡(SongMASS는 가사-멜로디 및 멜로디-가사, DeepRapper는 운율 및 리듬 모델링을 통한 랩 생성, TeleMelody, ReLyMe, Re-creation of Creations는 가사-멜로디), 음악 형식 및 구조 모델링(MeloForm 및 Museformer), 다중 트랙 생성(반주를 위한 PopMAG 및 통합 표현 및 확산 프레임워크를 통한 임의 트랙 생성을 위한 GETMusic), 텍스트-음악 작곡(MuseCoco), 그리고 가창 음성 합성(HiFiSinger)을 다룹니다. MusicAgent는 다양한 음악 처리를 위한 LLM 기반 AI 에이전트입니다. 이 프로젝트는 Linux 지향적이며, CUDA 10 및 Python 3.6.12를 사용하는 Ubuntu 16.04.6 LTS에서 테스트되었고, 종속성은 requirements.txt에 나열되어 있습니다. 각 하위 프로젝트 폴더에는 자세한 사용 지침이 포함되어 있으며, 생성된 음악 샘플은 프로젝트 웹사이트에서 전시됩니다. Muzic는 기여자 라이선스 계약 및 Microsoft의 오픈 소스 행동 강령에 따라 기여를 환영합니다.