このプロジェクトについて

NodeToolはオープンソースのクリエイティブワークスペースであり、エージェントが画像、動画、音声、テキスト制作のためのマルチモーダルワークフローを構築、実行、検査、修復できます。ユーザーは自然言語のブリーフから始め、生成されたストーリーボードとスチールを確認し、承認したショットをアニメーション化し、ナレーションと音楽を追加し、タイムラインで編集し、MP4動画を書き出せます。同じプロジェクトは手動でもエージェント経由でも編集できます。 Studioには複数の接続された編集インターフェースがあります。ストーリーボードエディタは、ショット、アクション、カメラ指示、モーション、長さ、ナレーション、スタイル情報を整理し、シーケンス全体を再生成せずに個々のショットを修正できます。スクリプトおよび音声ツールは、キャラクターごとのプロバイダー、モデル、音声の選択、保存されたテイク、単語ごとのタイミング、キャプションの組み立てをサポートします。タイムラインでは動画トラックと音声トラックを配置、トリミング、レイヤー化、書き出しでき、クリップは生成ワークフローにリンクされたままにできます。スケッチエディタはマスクとブレンドモードを備えたレイヤー構成のコンポジションを提供し、3Dエディタは画像または動画生成のためのシーン参照を作成できます。 これらのインターフェースの基盤には、型付きノードグラフエディタがあります。ユーザーはノードを接続し、中間出力を検査し、モデルを切り替え、変更された部分だけを再実行できます。ワークフローでは、マスキング、インペインティング、アウトペインティング、再ライティング、アップスケーリング、レイヤー化、コンポジットなどの画像、動画、音声、テキスト操作を組み合わせられます。プロジェクトには、グラフ、入力、アセット、編集内容がまとめて保持されます。 モデルへのアクセスは、ユーザーが所有する認証情報と、ローカルまたはプロバイダーがホストするモデルを中心に設計されています。ドキュメントには、OpenAI、Anthropic、Gemini、FAL、KIE、Replicate、ElevenLabs、HuggingFaceなどのプロバイダーと、Ollama、Apple Silicon上のMLX、GGUFモデルによるローカルサポートが記載されています。API呼び出しは、ユーザーのキーを使用して選択したプロバイダーに直接行われます。ローカルモデルのハードウェア要件は、使用するモデルによって異なります。 エージェント機能には、ワークフロー構築、グラフ検証、カスタムミニアプリ生成、再試行または修復の選択肢を伴う失敗処理、コスト予算、ならびにトークンとコスト情報を含むLLM呼び出しのOpenTelemetryスパンがあります。エージェントツールベルトはMCPを通じて公開され、Claude Desktop、Claude Code、Codex、OpenCodeなどの外部MCPクライアントがワークフローと編集インターフェースを操作できます。CLIは、プロバイダーを設定した後、ワークフローの実行、APIの提供、対話型エージェントチャットを提供できます。 開発者は、TypeScriptまたはPythonのカスタムノードでNodeToolを拡張し、プロバイダー統合を追加し、QuickJSサンドボックスでJavaScriptノードを記述し、組み込みのベクトルストアをドキュメント検索に使用できます。ワークフローは、チームメイト向けのシンプルなミニアプリインターフェースにラップすることもできます。デプロイオプションには、Dockerによるセルフホスティングや、RunPodやVastなどのリモートGPUワーカーの使用があります。 リポジトリには、TypeScriptランタイムとワークフローカーネル、プロバイダーとノード、React Web UI、Electronデスクトップシェル、React Nativeモバイルアプリ、ドキュメント、実行可能なワークフロー例が含まれています。NodeTool StudioはmacOS、Windows、Linuxで利用でき、ホスト型クラウドサービスはアルファ版として説明されています。プロジェクトはAGPL-3.0ライセンスです。