Об этом проекте
NodeTool — это открытое творческое рабочее пространство, в котором агенты могут создавать, выполнять, проверять и исправлять мультимодальные рабочие процессы для создания изображений, видео, аудио и текста. Пользователи могут начать с краткого описания на естественном языке, просмотреть сгенерированные раскадровки и стоп-кадры, анимировать утвержденные кадры, добавить повествование и музыку, отредактировать на временной шкале и экспортировать видео в формате MP4. Один и тот же проект можно редактировать вручную или с помощью агента.
Студия предоставляет несколько связанных поверхностей редактирования. Редактор раскадровки организует информацию о кадрах, действиях, направлении камеры, движении, длительности, повествовании и стиле, а также поддерживает изменение отдельных кадров без повторной генерации всей последовательности. Инструменты сценария и голоса поддерживают выбор поставщика, модели и голоса для конкретного персонажа, сохраненные дубли, временные метки слов и сборку субтитров. Временная шкала позволяет упорядочивать, обрезать, накладывать слоями и экспортировать видео- и аудиодорожки, при этом клипы могут оставаться связанными с порождающими рабочими процессами. Редактор набросков предоставляет многослойные композиции с масками и режимами наложения, а 3D-редактор может создавать сцены-референсы для генерации изображений или видео.
Под этими поверхностями находится типизированный редактор графа узлов. Пользователи могут соединять узлы, просматривать промежуточные результаты, заменять модели и перезапускать только измененные части. Рабочие процессы могут комбинировать операции с изображениями, видео, аудио и текстом, такие как маскирование, инпейнтинг, аутпейнтинг, переосвещение, апскейлинг, наложение слоев и композитинг. Проекты сохраняют вместе граф, входные данные, ресурсы и правки.
Доступ к моделям построен на основе учетных данных пользователя и локальных или размещенных у провайдера моделей. В документации перечислены провайдеры, включая OpenAI, Anthropic, Gemini, FAL, KIE, Replicate, ElevenLabs и HuggingFace, с локальной поддержкой через Ollama, MLX на Apple Silicon и модели GGUF. Вызовы API выполняются напрямую к выбранному провайдеру с использованием ключа пользователя. Требования к оборудованию для локальных моделей зависят от используемой модели.
Возможности агента включают построение рабочих процессов, проверку графа, генерацию пользовательских мини-приложений, обработку ошибок с возможностью повторной попытки или исправления, бюджеты затрат и спаны OpenTelemetry для вызовов LLM с информацией о токенах и стоимости. Инструментарий агента предоставляется через MCP, что позволяет внешним MCP-клиентам, таким как Claude Desktop, Claude Code, Codex или OpenCode, управлять рабочими процессами и поверхностями редактирования. CLI может запускать рабочие процессы, обслуживать API и предоставлять интерактивный чат с агентом после настройки провайдера.
Разработчики могут расширять NodeTool с помощью пользовательских узлов на TypeScript или Python, добавлять интеграции с провайдерами, писать узлы на JavaScript в песочнице QuickJS и использовать встроенное векторное хранилище для поиска по документам. Рабочие процессы также можно обернуть в простые интерфейсы мини-приложений для коллег. Варианты развертывания включают самостоятельный хостинг с помощью Docker и использование удаленных GPU-воркеров, таких как RunPod или Vast.
Репозиторий включает среду выполнения TypeScript и ядро рабочего процесса, провайдеров и узлы, веб-интерфейс React, оболочку Electron для настольного ПК, мобильное приложение React Native, документацию и исполняемые примеры рабочих процессов. NodeTool Studio доступна для macOS, Windows и Linux, а облачное размещение описывается как альфа-версия. Проект лицензирован под AGPL-3.0.
Comments
0 Rating appears after 10 ratings
Sign in to join the discussion.