videolingo

VideoLingoは、Netflix品質の字幕を作成するための総合的な動画翻訳・ダビングツールです。機械翻訳の一般的な問題に対処し、シングルライン字幕のみを提供し、硬い翻訳を排除し、高品質なダビングを追加します。 主な機能は以下の通りです。 - yt-dlpによるYouTube動画ダウンロード - WhisperX（large-v3）による単語レベルの字幕認識。ローカルまたはAPIで実行可能 - NLPとAIを活用した字幕セグメンテーション - 一貫性のある翻訳のためのカスタム用語とAI生成用語 - 映画品質の翻訳を実現する3段階のTranslate-Reflect-Adaptationプロセス - Netflix標準のシングルライン字幕出力 - GPT-SoVITS、Azure、OpenAI、Fish-TTS、Edge-TTS、カスタムTTSによるダビング対応 - Streamlit Web UIによるワンクリック起動・処理。多言語対応 - 各ステップで一時停止、再開、停止が可能なタスク制御 - 進捗再開に対応した詳細なログ - API自動取得機能付きモデル検索ボックス。プロバイダーの全モデルリストからフィルタリング可能 対応入力言語は英語、ロシア語、フランス語、ドイツ語、イタリア語、スペイン語、日本語、中国語です。翻訳はすべての言語に対応しており、ダビング言語は選択したTTS方式に依存します。 インストール方法には、uv（推奨）による自動Python環境設定、Conda、Dockerがあります。プロジェクトはLLM統合のためOpenAI互換API形式を、さまざまなTTSインターフェースをサポートしています。OllamaとEdge-TTSを使用すれば、有料APIなしで完全にローカル実行できます。 現在の制限事項には、背景ノイズによるWhisperXの書き起こし問題、厳格なJSON形式要件に弱いLLMによるエラー、発話速度の違いによるダビングの不完全性、多言語動画でメイン言語のみ保持される点、複数のキャラクターを個別にダビングできない点などがあります。