neuralnote

NeuralNote é um plugin de áudio avançado (VST3/AU/Standalone) projetado para Digital Audio Workstations (DAWs) que realiza transcrição de áudio para MIDI de última geração usando deep learning. Ele utiliza o modelo MuScriptor (da Kyutai e Mirelo), portado para um motor C++/ggml (`muscriptor.cpp`), permitindo transcrição totalmente local e preservando a privacidade no macOS e Windows (suporte para Linux está em breve). Principais Recursos: - Transcrição Multi-Instrumento: Transcreva mixes musicais completos com notas agrupadas por instrumento, ou use a detecção automática de instrumentos. - Processamento Totalmente Local: Todo o processamento de áudio ocorre localmente na sua máquina; o áudio nunca sai do seu dispositivo. - Opções de Modelo: Disponível em três tamanhos (pequeno, médio, grande) que equilibram qualidade e velocidade. Os modelos são baixados como arquivos GGUF do Hugging Face. - Gravação ao Vivo e de Arquivos: Grave ao vivo ou arraste arquivos de áudio (WAV, AIFF, FLAC, MP3, OGG) diretamente para o plugin. - Transcrição em Segundo Plano e Pré-visualização: Transcreve em segundo plano enquanto permite pré-visualizar o MIDI decodificado em tempo real. Arraste e solte o MIDI resultante em uma faixa ou salve-o diretamente. Compilar a partir do Código-Fonte: NeuralNote v2 está atualmente em desenvolvimento e requer compilação a partir do código-fonte. Os requisitos incluem git, CMake, Python 3 e um compilador C++23 (Clang é preferido). O suporte a GPU no Windows requer o SDK Vulkan no momento da compilação, enquanto a aceleração de GPU no macOS utiliza Metal. Licença: O código-fonte é lançado sob a licença Apache-2.0, enquanto os pesos do modelo MuScriptor subjacente são lançados sob CC BY-NC 4.0 (uso apenas não comercial).