director

Director是一个框架，用于创建通过自然语言指令处理视频的AI代理。它被定位为基于聊天的媒体工作流助手，并构建在VideoDB的视频存储、索引和流媒体基础设施之上。 该项目包含20多个预构建代理，用于执行诸如视频摘要、搜索特定时刻、创建精彩片段和剪辑、组织媒体库、从脚本生成电影、配音或编辑音频和视频、翻译内容以及添加字幕等任务。代理还可以添加叠加层、提取帧、编译内容，并连接到外部LLM、数据库和生成式AI API。 主要组件包括后端推理引擎、基于聊天的用户界面、视频播放器以及用于浏览媒体的集合视图。推理引擎解释用户请求、维护上下文、选择并协调多个代理、将工作分解为步骤并报告进度。示例工作流包括上传视频、检测场景、创建剪辑并将结果分享到Slack。 Director可以在本地运行或部署到云环境。文档化的设置要求Python 3.9+、Node.js 22.8.0+、npm以及通过环境文件配置的API密钥。一个设置脚本准备前端和后端环境，而Make命令可以同时或分别运行这两个服务。支持macOS和Linux，以及通过WSL支持Windows。还提供了Render和Railway的一键部署参考。 开发者可以通过复制示例代理、重命名类和元数据、实现运行逻辑、定义支持的内容类型、发布进度和最终响应、处理错误以及在聊天处理器中注册代理来添加自定义代理。仓库包含使用MkDocs提供的本地文档，并接受社区贡献和新的代理集成。