这个项目能做什么
NeuralNote是一款先进的音频插件(VST3/AU/独立版),专为数字音频工作站(DAW)设计,利用深度学习执行最先进的音频转MIDI转录。它采用MuScriptor模型(来自Kyutai和Mirelo),移植到C++/ggml引擎(`muscriptor.cpp`),支持在macOS和Windows上完全本地、保护隐私的转录(Linux支持即将推出)。
主要特性:
- 多乐器转录:转录完整音乐混音,音符按乐器分组,或使用自动乐器检测。
- 完全本地处理:所有音频处理均在本地机器上运行;音频数据不会离开您的设备。
- 模型选项:提供三种尺寸(小、中、大),在质量与速度之间权衡。模型以GGUF文件形式从Hugging Face下载。
- 实时与文件录制:实时录制或将音频文件(WAV、AIFF、FLAC、MP3、OGG)直接拖入插件。
- 后台转录与预览:后台转录,同时允许您实时预览解码的MIDI。将生成的MIDI拖放到轨道上或直接保存。
从源码构建:
NeuralNote v2目前仍在开发中,需要从源码构建。要求包括git、CMake、Python 3和C++23编译器(首选Clang)。Windows GPU支持需要在构建时安装Vulkan SDK,而macOS GPU加速利用Metal。
许可证:
源代码根据Apache-2.0许可证发布,而底层MuScriptor模型权重根据CC BY-NC 4.0许可证发布(仅限非商业用途)。
评论
0 评分人数达到10人后显示
登录后参与讨论。