magenta-realtime

Magenta RealTime 2 (MRT2)는 Magenta 프로젝트에서 출시한 실시간 음악 생성을 위한 오픈 가중치 모델입니다. 저장소에는 모델 가중치, JAX 및 MLX 백엔드를 갖춘 `magenta-rt`라는 Python 추론 라이브러리, Apple Silicon MacBook에서 효율적인 스트리밍 오디오 생성을 목표로 하는 C++ 추론 엔진(`magentart::core`), 그리고 해당 엔진을 기반으로 구축된 일련의 예제 애플리케이션이 포함되어 있습니다. 주요 용도로는 직접 추론 실행, DAW 플러그인 구축, 또는 새 애플리케이션에 모델 임베딩이 포함됩니다. README에는 지도 미세 조정 지원이 향후 업데이트로 계획되어 있다고 명시되어 있습니다. 저장소 구조 주요 사항: - `magenta_rt/` — JAX / MLX 백엔드를 갖춘 Python 추론 라이브러리. - `core/` — C++ 추론 라이브러리 (`magentart::core`). - `examples/mrt2/auv3` — DAW용 올인원 AUv3 플러그인. - `examples/mrt2/standalone` — 올인원 독립형 macOS 앱. - `examples/jam/` — 노트 제어 탐색용 앱. - `examples/collider/` — 프롬프트 공간 탐색용 앱. - `notebooks/` — Python API 시험용 노트북. 하드웨어 요구 사항: 실시간 스트리밍에는 Apple Silicon(M 시리즈)이 필요합니다. 두 가지 모델 크기가 제공됩니다: `mrt2_small`(2억 3천만 파라미터)은 README에 따르면 Air 모델을 포함한 모든 Apple Silicon Mac에서 실시간으로 실행되며, `mrt2_base`(24억 파라미터)는 더 높은 품질로 설명되며 실시간 스트리밍에 Pro Max 칩이 필요합니다. README에는 각 모델 크기에 대해 실시간 스트리밍을 지원하는 칩을 나열하는 장치 호환성 표가 포함되어 있습니다. 두 모델 모두 Python 라이브러리를 통해 모든 Apple Silicon Mac 또는 NVIDIA GPU에서 오프라인(비실시간) 추론도 실행할 수 있습니다. Apple Silicon에서의 빠른 시작은 `uv` 설치, Python 3.12 가상 환경 생성, `magenta-rt[mlx]` 설치, `mrt models` 명령을 통한 모델 초기화 및 다운로드, `mrt mlx generate --prompt "disco funk" --duration 4.0 --model=mrt2_base`로 오디오 생성을 다룹니다. 로컬 개발의 경우 README는 서브모듈로 저장소를 클론하고 편집 가능 모드로 설치할 것을 제안합니다. C++ 앱 개발의 경우 CMake 설치, `hello_mrt2` 타겟 빌드, 다운로드한 모델 파일 및 리소스 디렉토리와 텍스트 프롬프트로 실행하는 방법을 설명합니다. 문서 링크는 설치, 모델 및 체크포인트, 추론, 모델 내보내기, 지연 시간 벤치마킹, 테스트를 다룹니다. 추가 리소스에는 시작 페이지, 블로그 게시물, Hugging Face의 모델이 포함됩니다. README는 또한 "Live Music Models"라는 관련 기술 보고서에 대한 BibTeX 인용을 제공합니다.