neuralnote

NeuralNoteは、デジタルオーディオワークステーション（DAW）向けに設計された高度なオーディオプラグイン（VST3/AU/スタンドアロン）で、ディープラーニングを使用した最先端のオーディオ-to-MIDI変換を実行します。KyutaiとMireloによるMuScriptorモデルを利用し、C++/ggmlエンジン（`muscriptor.cpp`）に移植されています。これにより、macOSとWindows上で完全にローカルかつプライバシーを保護した変換が可能です（Linuxサポートは近日公開予定）。 主な機能： - マルチ楽器変換：楽器ごとにグループ化されたノートで音楽ミックス全体を変換するか、自動楽器検出を使用します。 - 完全ローカル処理：すべてのオーディオ処理はお使いのマシン上でローカルに実行され、オーディオがデバイスから送信されることはありません。 - モデルオプション：品質と速度のトレードオフを提供する3つのサイズ（スモール、ミディアム、ラージ）があります。モデルはHugging FaceからGGUFファイルとしてダウンロードされます。 - ライブおよびファイル録音：ライブ録音またはオーディオファイル（WAV、AIFF、FLAC、MP3、OGG）をプラグインに直接ドロップできます。 - バックグラウンド変換とプレビュー：バックグラウンドで変換しながら、デコードされたMIDIをリアルタイムでプレビューできます。結果のMIDIをトラックにドラッグアンドドロップするか、直接保存できます。 ソースからのビルド： NeuralNote v2は現在開発中であり、ソースからのビルドが必要です。要件には、git、CMake、Python 3、およびC++23コンパイラ（Clangが推奨）が含まれます。WindowsのGPUサポートにはビルド時にVulkan SDKが必要であり、macOSのGPUアクセラレーションはMetalを利用します。 ライセンス： ソースコードはApache-2.0ライセンスでリリースされていますが、基盤となるMuScriptorモデルの重みはCC BY-NC 4.0（非営利目的のみ）でリリースされています。