Sobre o projeto

NodeTool é um espaço de trabalho criativo de código aberto no qual agentes podem construir, executar, inspecionar e reparar fluxos de trabalho multimodais para produção de imagem, vídeo, áudio e texto. Os usuários podem começar a partir de um briefing em linguagem natural, revisar storyboards e stills gerados, animar as tomadas aprovadas, adicionar narração e música, editar em uma linha do tempo e exportar vídeo MP4. O mesmo projeto pode ser editado manualmente ou por meio de um agente. O estúdio oferece várias superfícies de edição conectadas. O editor de storyboard organiza tomadas, ação, direção de câmera, movimento, duração, narração e informações de estilo, e permite revisar tomadas individuais sem regenerar toda a sequência. As ferramentas de roteiro e voz suportam seleção de provedor, modelo e voz específicos por personagem, takes salvos, tempos de palavras e montagem de legendas. A linha do tempo permite que faixas de vídeo e áudio sejam organizadas, cortadas, em camadas e exportadas, enquanto os clipes podem permanecer vinculados aos fluxos de trabalho que os geram. O editor de esboço oferece composições em camadas com máscaras e modos de mesclagem, e o editor 3D pode criar referências de cena para geração de imagem ou vídeo. Por trás dessas superfícies está um editor de grafo de nós tipado. Os usuários podem conectar nós, inspecionar saídas intermediárias, trocar modelos e reexecutar apenas as partes alteradas. Os fluxos de trabalho podem combinar operações de imagem, vídeo, áudio e texto, como mascaramento, inpainting, outpainting, reiluminação, upscaling, camadas e composição. Os projetos mantêm o grafo, as entradas, os ativos e as edições juntos. O acesso a modelos é projetado em torno de credenciais de propriedade do usuário e modelos locais ou hospedados por provedores. A documentação lista provedores incluindo OpenAI, Anthropic, Gemini, FAL, KIE, Replicate, ElevenLabs e HuggingFace, com suporte local por meio de Ollama, MLX no Apple Silicon e modelos GGUF. As chamadas de API são feitas diretamente ao provedor selecionado usando a chave do usuário. Os requisitos de hardware para modelos locais dependem do modelo utilizado. Os recursos de agente incluem construção de fluxos de trabalho, validação de grafo, geração de miniaplicativos personalizados, tratamento de falhas com opções de nova tentativa ou reparo, orçamentos de custo e spans OpenTelemetry para chamadas LLM com informações de tokens e custos. O cinto de ferramentas do agente é exposto por meio do MCP, permitindo que clientes MCP externos, como Claude Desktop, Claude Code, Codex ou OpenCode, conduzam fluxos de trabalho e superfícies de edição. Uma CLI pode executar fluxos de trabalho, servir a API e fornecer chat interativo com o agente após um provedor ser configurado. Desenvolvedores podem estender o NodeTool com nós personalizados em TypeScript ou Python, adicionar integrações de provedores, escrever nós JavaScript em um sandbox QuickJS e usar o armazenamento vetorial integrado para busca de documentos. Os fluxos de trabalho também podem ser encapsulados em interfaces de miniaplicativos simples para colegas de equipe. As opções de implantação incluem auto-hospedagem com Docker e uso de workers remotos de GPU, como RunPod ou Vast. O repositório inclui o runtime TypeScript e o kernel de fluxos de trabalho, provedores e nós, uma interface web React, um shell desktop Electron, um aplicativo móvel React Native, documentação e exemplos de fluxos de trabalho executáveis. O NodeTool Studio está disponível para macOS, Windows e Linux, enquanto uma oferta de nuvem hospedada é descrita como alpha. O projeto é licenciado sob AGPL-3.0.