muzic

Muzic es un proyecto de investigación de Microsoft Research Asia que reúne una familia de sistemas de aprendizaje profundo para la comprensión y generación musical. El repositorio actúa como un centro que enlaza a subproyectos individuales, cada uno con su propio README, código y referencia de artículo. En el lado de la comprensión, Muzic incluye MusicBERT para la comprensión de música simbólica mediante preentrenamiento a gran escala, PDAugment para el aumento de datos de tono y duración en la transcripción automática de letras, y CLaMP, un modelo de preentrenamiento contrastivo lenguaje-música para la recuperación de información musical simbólica multimodal (ganador del premio al Mejor Artículo de Estudiante en ISMIR 2023). En el lado de la generación, el proyecto cubre la composición de canciones (SongMASS para letra a melodía y melodía a letra, DeepRapper para generación de rap con modelado de rima y ritmo, TeleMelody, ReLyMe y Re-creation of Creations para letra a melodía), modelado de forma y estructura musical (MeloForm y Museformer), generación multipista (PopMAG para acompañamiento y GETMusic para generación de cualquier pista mediante una representación unificada y un marco de difusión), composición de música a partir de texto (MuseCoco) y síntesis de voz cantada (HiFiSinger). MusicAgent es un agente de IA basado en LLM para procesamiento musical versátil. El proyecto está orientado a Linux, probado en Ubuntu 16.04.6 LTS con CUDA 10 y Python 3.6.12, y las dependencias se enumeran en requirements.txt. Cada carpeta de subproyecto contiene instrucciones de uso detalladas, y las muestras de música generada se muestran en el sitio web del proyecto. Muzic acepta contribuciones bajo un Acuerdo de Licencia de Colaborador y el Código de Conducta de Código Abierto de Microsoft.