nodetool

NodeTool est un espace de travail créatif open source dans lequel des agents peuvent construire, exécuter, inspecter et réparer des workflows multimodaux pour la production d'images, de vidéos, d'audio et de texte. Les utilisateurs peuvent partir d'un brief en langage naturel, examiner les storyboards et images fixes générés, animer les plans approuvés, ajouter une narration et de la musique, éditer sur une timeline et exporter une vidéo MP4. Le même projet peut être édité manuellement ou via un agent. Le studio propose plusieurs surfaces d'édition connectées. L'éditeur de storyboard organise les plans, l'action, la direction de la caméra, le mouvement, la durée, la narration et les informations de style, et permet de réviser des plans individuels sans régénérer la séquence entière. Les outils de script et de voix prennent en charge la sélection du fournisseur, du modèle et de la voix spécifiques au personnage, les prises sauvegardées, les timings des mots et l'assemblage des sous-titres. La timeline permet d'agencer, rogner, superposer et exporter des pistes vidéo et audio, tandis que les clips peuvent rester liés aux workflows de génération. L'éditeur de croquis fournit des compositions en couches avec des masques et des modes de fusion, et l'éditeur 3D peut créer des références de scène pour la génération d'images ou de vidéos. Sous ces surfaces se trouve un éditeur de graphe de nœuds typé. Les utilisateurs peuvent connecter des nœuds, inspecter les sorties intermédiaires, échanger des modèles et réexécuter uniquement les parties modifiées. Les workflows peuvent combiner des opérations sur les images, les vidéos, l'audio et le texte telles que le masquage, l'incrustation, l'extension, le rééclairage, la mise à l'échelle, la superposition et le compositing. Les projets conservent ensemble le graphe, les entrées, les ressources et les modifications. L'accès aux modèles est conçu autour des identifiants appartenant à l'utilisateur et des modèles locaux ou hébergés par un fournisseur. La documentation liste les fournisseurs incluant OpenAI, Anthropic, Gemini, FAL, KIE, Replicate, ElevenLabs et HuggingFace, avec un support local via Ollama, MLX sur Apple Silicon et les modèles GGUF. Les appels API sont effectués directement auprès du fournisseur sélectionné en utilisant la clé de l'utilisateur. Les exigences matérielles pour les modèles locaux dépendent du modèle utilisé. Les fonctionnalités de l'agent incluent la construction de workflows, la validation du graphe, la génération de mini-applications personnalisées, la gestion des échecs avec des choix de nouvelle tentative ou de réparation, les budgets de coûts et les spans OpenTelemetry pour les appels LLM avec les informations de tokens et de coûts. La boîte à outils de l'agent est exposée via MCP, permettant aux clients MCP externes tels que Claude Desktop, Claude Code, Codex ou OpenCode de piloter les workflows et les surfaces d'édition. Une CLI peut exécuter des workflows, servir l'API et fournir un chat interactif avec l'agent après avoir configuré un fournisseur. Les développeurs peuvent étendre NodeTool avec des nœuds personnalisés en TypeScript ou Python, ajouter des intégrations de fournisseurs, écrire des nœuds JavaScript dans un bac à sable QuickJS et utiliser le magasin de vecteurs intégré pour la recherche de documents. Les workflows peuvent également être encapsulés dans des interfaces de mini-applications simples pour les collègues. Les options de déploiement incluent l'auto-hébergement avec Docker et l'utilisation de workers GPU distants tels que RunPod ou Vast. Le dépôt inclut le runtime TypeScript et le noyau de workflow, les fournisseurs et nœuds, une interface Web React, un shell de bureau Electron, une application mobile React Native, la documentation et des exemples de workflows exécutables. NodeTool Studio est disponible pour macOS, Windows et Linux, tandis qu'une offre cloud hébergée est décrite comme alpha. Le projet est sous licence AGPL-3.0.