Об этом проекте

ChordMini — это open-source приложение для анализа музыки, объединяющее автоматическое распознавание аккордов, отслеживание бита, синхронизированные тексты песен, гитарные аппликатуры, визуализатор пианино и экспериментальную функцию транскрипции мелодии. Оно принимает загруженное аудио или видео YouTube и представляет результаты через удобный веб-интерфейс. Инструмент предоставляет анализ бита и аккордов с синхронизированной сеткой, анализ римскими цифрами, сигналы модуляции тональности, упрощённую нотацию аккордов, коррекцию аккордов и наложения сегментации песни для структурных разделов, таких как интро, куплет, припев, бридж и аутро. Гитарные диаграммы используют базу данных @tombatossals/chords-db для схем аппликатур и сопоставления слэш-аккордов. Визуализатор пианино показывает падающие MIDI-ноты, синхронизированные с воспроизведением аккордов, и поддерживает экспорт MIDI для DAW. Экспериментальный сервис транскрипции мелодии под названием Sheet Sage может добавить предполагаемую мелодическую линию с отдельным воспроизведением, кэшированием и экспортом MIDI. Представление lead sheet включает синхронизированную транскрипцию текста и ИИ-ассистента для контекстного анализа музыки и перевода. Проект использует фронтенд на Next.js, бэкенд на Python Flask, Firebase для хранения и кэширования, а также опциональные сервисы Docker для сегментации SongFormer и транскрипции мелодии Sheet Sage. Бэкенд-модели включают Beat-Transformer и madmom для определения бита, а также Chord-CNN-LSTM, BTC-SL и BTC-PL для распознавания аккордов. Внешние сервисы включают Google Gemini для анализа и перевода, yt-dlp для извлечения аудио, LRClib для синхронизации текстов и OpenSheetMusicDisplay для отображения нот. Для настройки требуются Node.js, Python 3.10, Docker для опциональных сервисов, Git LFS для контрольных точек моделей, а также ключи API Firebase и Gemini.