这个项目能做什么

NeuralNote是一款先进的音频插件(VST3/AU/独立版),专为数字音频工作站(DAW)设计,利用深度学习执行最先进的音频转MIDI转录。它采用MuScriptor模型(来自Kyutai和Mirelo),移植到C++/ggml引擎(`muscriptor.cpp`),支持在macOS和Windows上完全本地、保护隐私的转录(Linux支持即将推出)。 主要特性: - 多乐器转录:转录完整音乐混音,音符按乐器分组,或使用自动乐器检测。 - 完全本地处理:所有音频处理均在本地机器上运行;音频数据不会离开您的设备。 - 模型选项:提供三种尺寸(小、中、大),在质量与速度之间权衡。模型以GGUF文件形式从Hugging Face下载。 - 实时与文件录制:实时录制或将音频文件(WAV、AIFF、FLAC、MP3、OGG)直接拖入插件。 - 后台转录与预览:后台转录,同时允许您实时预览解码的MIDI。将生成的MIDI拖放到轨道上或直接保存。 从源码构建: NeuralNote v2目前仍在开发中,需要从源码构建。要求包括git、CMake、Python 3和C++23编译器(首选Clang)。Windows GPU支持需要在构建时安装Vulkan SDK,而macOS GPU加速利用Metal。 许可证: 源代码根据Apache-2.0许可证发布,而底层MuScriptor模型权重根据CC BY-NC 4.0许可证发布(仅限非商业用途)。