magenta-realtime

Magenta RealTime 2（MRT2）は、Magentaプロジェクトが公開したリアルタイム音楽生成のためのオープンウェイトモデルです。リポジトリには複数のコンポーネントが含まれています。モデルの重み、JAXおよびMLXバックエンドを備えた`magenta-rt`という名前のPython推論ライブラリ、Apple SiliconのMacBook上で効率的なストリーミング音声生成を目的としたC++推論エンジン（`magentart::core`）、そしてそのエンジン上に構築された一連のサンプルアプリケーションです。 想定される用途には、推論の直接実行、DAWプラグインの構築、新しいアプリケーションへのモデルの組み込みが含まれます。READMEには、教師ありファインチューニングのサポートが今後のアップデートで予定されていると記載されています。 リポジトリ構成の主なポイント： - `magenta_rt/` — JAX / MLXバックエンドを備えたPython推論ライブラリ。 - `core/` — C++推論ライブラリ（`magentart::core`）。 - `examples/mrt2/auv3` — DAW向けのオールインワンAUv3プラグイン。 - `examples/mrt2/standalone` — オールインワンのスタンドアロンmacOSアプリ。 - `examples/jam/` — ノートコントロールを探求するためのアプリ。 - `examples/collider/` — プロンプト空間を探求するためのアプリ。 - `notebooks/` — Python APIを試すためのノートブック。 ハードウェア要件：リアルタイムストリーミングにはApple Silicon（Mシリーズ）が必要です。2つのモデルサイズが提供されています。`mrt2_small`（2億3000万パラメータ）は、Airモデルを含むすべてのApple Silicon Macでリアルタイムに動作するとREADMEに記載されています。`mrt2_base`（24億パラメータ）は、より高品質とされ、リアルタイムストリーミングにはPro Maxチップが必要です。READMEには、各モデルサイズについてどのチップがリアルタイムストリーミングをサポートするかを示すデバイス互換性表が含まれています。両モデルは、Pythonライブラリを通じて、任意のApple Silicon MacまたはNVIDIA GPUでオフライン（非リアルタイム）推論を実行することもできます。 Apple Siliconでのクイックスタートでは、`uv`のインストール、Python 3.12仮想環境の作成、`magenta-rt[mlx]`のインストール、`mrt models`コマンドによるモデルの初期化とダウンロード、そして`mrt mlx generate --prompt "disco funk" --duration 4.0 --model=mrt2_base`による音声生成を扱います。ローカル開発では、READMEはサブモジュールを含めてリポジトリをクローンし、編集可能モードでインストールすることを推奨しています。C++アプリ開発では、CMakeのインストール、`hello_mrt2`ターゲットのビルド、ダウンロードしたモデルファイルとリソースディレクトリに対してテキストプロンプトで実行する方法が説明されています。 ドキュメントのリンクは、インストール、モデルとチェックポイント、推論、モデルのエクスポート、レイテンシベンチマーク、テストをカバーしています。その他のリソースには、はじめにのページ、ブログ記事、Hugging Face上のモデルが含まれます。READMEはまた、「Live Music Models」というタイトルの関連技術レポートのBibTeX引用も提供しています。