Об этом проекте

VideoLingo — это комплексный инструмент для перевода и дублирования видео, предназначенный для создания субтитров качества Netflix. Он решает типичные проблемы машинного перевода, обеспечивая однострочные субтитры, устраняя жёсткие формулировки и добавляя качественное дублирование. Ключевые возможности включают: - Загрузку видео с YouTube через yt-dlp - Распознавание субтитров на уровне слов с помощью WhisperX (large-v3), который можно запускать локально или через API - Сегментацию субтитров на основе NLP и ИИ - Пользовательские и ИИ-генерируемые термины для согласованного перевода - Трёхэтапный процесс Translate-Reflect-Adaptation для кинематографического качества перевода - Вывод однострочных субтитров по стандарту Netflix - Поддержку дублирования через GPT-SoVITS, Azure, OpenAI, Fish-TTS, Edge-TTS и пользовательские TTS-опции - Запуск и обработка в один клик через веб-интерфейс Streamlit с поддержкой нескольких языков - Управление задачами с возможностью приостановки, возобновления или остановки обработки на любом этапе - Подробное логирование с возможностью возобновления прогресса - Поле поиска моделей с автоматическим получением API для фильтрации моделей из полного списка провайдера Поддерживаемые входные языки включают английский, русский, французский, немецкий, итальянский, испанский, японский и китайский. Перевод поддерживает все языки, в то время как язык дублирования зависит от выбранного метода TTS. Варианты установки включают использование uv (рекомендуется) для автоматической настройки Python-окружения, Conda или Docker. Проект поддерживает форматы API, совместимые с OpenAI, для интеграции LLM и различные интерфейсы TTS. Он может работать полностью локально с Ollama и Edge-TTS без необходимости использования платных API. Текущие ограничения включают возможные проблемы транскрипции WhisperX при наличии фонового шума, ошибки от более слабых LLM с требованиями к строгому формату JSON, несовершенное дублирование из-за различий в темпе речи, сохранение только основного языка в многоязычных видео и невозможность дублирования нескольких персонажей отдельно.