muzic

Muzic est un projet de recherche de Microsoft Research Asia qui rassemble une famille de systèmes d'apprentissage profond pour la compréhension et la génération musicale. Le dépôt sert de hub reliant les sous-projets individuels, chacun avec son propre README, code et référence de papier. Côté compréhension, Muzic inclut MusicBERT pour la compréhension musicale symbolique via un pré-entraînement à grande échelle, PDAugment pour l'augmentation de données de hauteur et durée dans la transcription automatique de paroles, et CLaMP, un modèle de pré-entraînement contrastif langage-musique pour la recherche d'informations musicales symboliques cross-modales (lauréat du prix du meilleur article étudiant à ISMIR 2023). Côté génération, le projet couvre l'écriture de chansons (SongMASS pour paroles-vers-mélodie et mélodie-vers-paroles, DeepRapper pour la génération de rap avec modélisation de rimes et de rythme, TeleMelody, ReLyMe et Re-creation of Creations pour paroles-vers-mélodie), la modélisation de la forme et de la structure musicale (MeloForm et Museformer), la génération multi-pistes (PopMAG pour l'accompagnement et GETMusic pour la génération de n'importe quelle piste via une représentation unifiée et un cadre de diffusion), la composition texte-vers-musique (MuseCoco) et la synthèse vocale chantée (HiFiSinger). MusicAgent est un agent IA basé sur LLM pour le traitement musical polyvalent. Le projet est orienté Linux, testé sur Ubuntu 16.04.6 LTS avec CUDA 10 et Python 3.6.12, et les dépendances sont listées dans requirements.txt. Chaque dossier de sous-projet contient des instructions d'utilisation détaillées, et des échantillons de musique générée sont présentés sur le site web du projet. Muzic accueille les contributions sous un accord de licence de contributeur et le code de conduite open source de Microsoft.