这个项目能做什么
VideoLingo 是一款综合性视频翻译与配音工具,旨在生成 Netflix 品质的字幕。它通过仅输出单行字幕、消除生硬翻译并添加高质量配音,解决了机器翻译中的常见问题。
核心功能包括:
- 通过 yt-dlp 下载 YouTube 视频
- 使用 WhisperX(large-v3)进行逐词字幕识别,可在本地运行或通过 API 调用
- 基于 NLP 和 AI 的字幕分段
- 自定义与 AI 生成的术语表,确保翻译连贯一致
- 三步翻译-反思-适配流程,打造电影级翻译质量
- 符合 Netflix 标准的单行字幕输出
- 支持 GPT-SoVITS、Azure、OpenAI、Fish-TTS、Edge-TTS 及自定义 TTS 的配音
- 通过 Streamlit Web UI 一键启动与处理,支持多语言界面
- 任务控制:用户可在任意步骤暂停、恢复或停止处理
- 详细日志记录与进度恢复功能
- 模型搜索框,支持 API 自动获取并筛选服务商完整模型列表
支持的输入语言包括英语、俄语、法语、德语、意大利语、西班牙语、日语和中文。翻译支持所有语言,配音语言则取决于所选的 TTS 方式。
安装方式包括使用 uv(推荐)自动配置 Python 环境、Conda 或 Docker。该项目支持 OpenAI 兼容的 API 格式用于 LLM 集成,并提供多种 TTS 接口。借助 Ollama 和 Edge-TTS,它可以完全在本地运行,无需付费 API。
当前限制包括:WhisperX 在背景噪音下可能出现转录问题;较弱的 LLM 可能无法满足严格的 JSON 格式要求;由于语速差异,配音效果可能不够理想;多语言视频仅保留主要语言;无法为多个角色单独配音。
评论
0 评分人数达到10人后显示
登录后参与讨论。