Об этом проекте
mcp-vst-sidechain — это мост Model Context Protocol (MCP), разработанный для предоставления ИИ-агентам полного контроля над плагинами VST3 и AU. Он выступает в качестве посредника между агентом и хостом плагинов, позволяя агентам перечислять, считывать и устанавливать автоматизируемые параметры, используя реальные единицы измерения вместо необработанных нормализованных значений.
Ключевые возможности включают:
- Семантическое сопоставление параметров: слой, который восстанавливает значение, единицы измерения и кривые параметров, сохраняя эти знания между сессиями, чтобы агенты могли рассуждать о ролях (например, «срез фильтра»), а не о непрозрачных ID.
- Настройка с замкнутым контуром: система может рендерить вывод плагина в автономном режиме и объективно измерять такие характеристики, как спектральный центроид (яркость), RMS и модуляцию. Это позволяет агентам автономно настраивать параметры для достижения конкретной звуковой цели (например, «сделать звук ярче»).
- Поддержка нескольких контроллеров: несколько агентов могут одновременно управлять одним экземпляром плагина, используя систему аренды редактирования (edit-lease) для предотвращения конфликтующих изменений.
- Эффективная передача данных: использование GCF (компактного сетевого формата) для снижения стоимости токенов при сериализации больших наборов параметров по сравнению со стандартным JSON.
- Широкая совместимость: поддержка VST3 (кроссплатформенная) и AU (macOS) через фреймворк JUCE.
Архитектура состоит из MCP-сервера на базе Go для связи с агентами и хоста на C++/JUCE для управления плагинами, которые взаимодействуют через локальный TCP-сокет.
Comments
0 Rating appears after 10 ratings
Sign in to join the discussion.