这个项目能做什么

Magenta RealTime 2（MRT2）是 Magenta 项目发布的开放权重实时音乐生成模型。该仓库包含多个组件：模型权重、名为 `magenta-rt` 的 Python 推理库（支持 JAX 和 MLX 后端）、面向 Apple Silicon MacBook 高效流式音频生成的 C++ 推理引擎（`magentart::core`），以及基于该引擎构建的一组示例应用。 预期用途包括直接运行推理、构建 DAW 插件，或将模型嵌入新应用中。README 指出，监督微调支持计划在未来的更新中提供。 仓库布局要点： - `magenta_rt/` — 支持 JAX / MLX 后端的 Python 推理库。 - `core/` — C++ 推理库（`magentart::core`）。 - `examples/mrt2/auv3` — 面向 DAW 的一体化 AUv3 插件。 - `examples/mrt2/standalone` — 一体化的独立 macOS 应用。 - `examples/jam/` — 用于探索音符控制的应用。 - `examples/collider/` — 用于探索提示空间的应用。 - `notebooks/` — 用于试用 Python API 的 notebook。 硬件要求：实时流式生成需要 Apple Silicon（M 系列）。提供两种模型规模：`mrt2_small`（2.3 亿参数），README 称其可在任何 Apple Silicon Mac（包括 Air 机型）上实时运行；以及 `mrt2_base`（24 亿参数），据称质量更高，实时流式生成需要 Pro Max 芯片。README 包含一张设备兼容性表，列出各芯片对每种模型规模的实时流式支持情况。两种模型也可通过 Python 库在任何 Apple Silicon Mac 或 NVIDIA GPU 上运行离线（非实时）推理。 Apple Silicon 上的快速开始涵盖：安装 `uv`、创建 Python 3.12 虚拟环境、安装 `magenta-rt[mlx]`、通过 `mrt models` 命令初始化并下载模型，以及使用 `mrt mlx generate --prompt "disco funk" --duration 4.0 --model=mrt2_base` 生成音频。对于本地开发，README 建议克隆包含子模块的仓库并以可编辑模式安装。对于 C++ 应用开发，其中描述了安装 CMake、构建 `hello_mrt2` 目标，并针对已下载的模型文件和资源目录以文本提示运行它。 文档链接涵盖安装、模型与检查点、推理、导出模型、延迟基准测试和测试。其他资源包括入门页面、一篇博客文章，以及 Hugging Face 上的模型。README 还提供了相关技术报告《Live Music Models》的 BibTeX 引用。