magenta-realtime

Magenta RealTime 2 (MRT2) es un modelo de pesos abiertos para generación musical en tiempo real, publicado por el proyecto Magenta. El repositorio incluye varios componentes: los pesos del modelo, una biblioteca de inferencia en Python llamada `magenta-rt` con backends JAX y MLX, un motor de inferencia en C++ (`magentart::core`) diseñado para generación de audio en streaming eficiente en MacBooks con Apple Silicon, y un conjunto de aplicaciones de ejemplo construidas sobre ese motor. Los usos previstos incluyen ejecutar inferencia directamente, construir un plugin de DAW o integrar el modelo en nuevas aplicaciones. El README señala que el soporte para ajuste fino supervisado está planificado para futuras actualizaciones. Aspectos destacados de la estructura del repositorio: - `magenta_rt/` — Biblioteca de inferencia en Python con backends JAX / MLX. - `core/` — Biblioteca de inferencia en C++ (`magentart::core`). - `examples/mrt2/auv3` — Plugin AUv3 todo-en-uno para DAWs. - `examples/mrt2/standalone` — Aplicación macOS independiente todo-en-uno. - `examples/jam/` — Aplicación para explorar el control de notas. - `examples/collider/` — Aplicación para explorar el espacio de prompts. - `notebooks/` — Cuaderno para probar la API de Python. Requisitos de hardware: el streaming en tiempo real requiere Apple Silicon (serie M). Se ofrecen dos tamaños de modelo: `mrt2_small` (230M de parámetros), que según el README funciona en tiempo real en cualquier Mac con Apple Silicon, incluidos los modelos Air, y `mrt2_base` (2.4B de parámetros), descrito como de mayor calidad y que requiere un chip Pro Max para streaming en tiempo real. El README incluye una tabla de compatibilidad de dispositivos que indica qué chips soportan streaming en tiempo real para cada tamaño de modelo. Ambos modelos también pueden ejecutar inferencia fuera de línea (no en tiempo real) en cualquier Mac con Apple Silicon o GPU NVIDIA mediante la biblioteca de Python. La guía de inicio rápido en Apple Silicon cubre la instalación de `uv`, la creación de un entorno virtual de Python 3.12, la instalación de `magenta-rt[mlx]`, la inicialización y descarga de modelos mediante los comandos `mrt models`, y la generación de audio con `mrt mlx generate --prompt "disco funk" --duration 4.0 --model=mrt2_base`. Para desarrollo local, el README sugiere clonar el repositorio con submódulos e instalarlo en modo editable. Para el desarrollo de aplicaciones en C++, describe la instalación de CMake, la compilación del objetivo `hello_mrt2` y su ejecución con un archivo de modelo descargado y un directorio de recursos con un prompt de texto. Los enlaces de documentación cubren instalación, modelos y puntos de control, inferencia, exportación de modelos, evaluación comparativa de latencia y pruebas. Recursos adicionales incluyen una página de inicio, una publicación de blog y el modelo en Hugging Face. El README también proporciona una cita BibTeX para un informe técnico relacionado titulado "Live Music Models".