عن المشروع

VideoLingo هو أداة شاملة لترجمة الفيديوهات وتدبيجها، صُممت لإنتاج ترجمات بجودة Netflix. يعالج المشكلات الشائعة في الترجمة الآنية من خلال تقديم ترجمات بخط واحد فقط، والتخلص من الترجمات الرتيبة، وإضافة تدبيج عالي الجودة. تشمل القدرات الرئيسية: - تنزيل فيديوهات YouTube عبر yt-dlp - التعرف على الكلمات في الترجمة باستخدام WhisperX (large-v3)، مع إمكانية التشغيل محليًا أو عبر API - تجزئة الترجمة باستخدام NLP والذكاء الاصطناعي - مصطلحات مخصصة ومولدة بالذكاء الاصطناعي لترجمة متماسكة - عملية Translate-Reflect-Adaptation من ثلاث خطوات لترجمة سينمائية الجودة - إخراج ترجمة بخط واحد وفق معايير Netflix - دعم التدبيج عبر GPT-SoVITS، Azure، OpenAI، Fish-TTS، Edge-TTS، وخيارات TTS مخصصة - بدء تشغيل ومعالجة بنقرة واحدة عبر واجهة Streamlit الويبية مع دعم متعدد اللغات - التحكم في المهام بإمكانية الإيقاف المؤقت أو الاستئناف أو الإيقاف في أي خطوة - سجل تفصيلي مع إمكانية استئناف التقدم - مربع بحث عن النماذج مع جلب تلقائي من API لتصفية النماذج من قائمة المزود الكاملة تشمل لغات الإدخال المدعومة الإنجليزية، الروسية، الفرنسية، الألمانية، الإيطالية، الإسبانية، اليابانية، والصينية. تدعم الترجمة جميع اللغات، بينما تعتمد لغة التدبيج على طريقة TTS المختارة. تشمل خيارات التثبيت استخدام uv (موصى به) لإعداد بيئة Python تلقائيًا، أو Conda، أو Docker. يدعم المشروع تنسيقات API المتوافقة مع OpenAI للتكامل مع LLM، وواجهات TTS متنوعة. يمكن تشغيله بالكامل محليًا باستخدام Ollama وEdge-TTS دون الحاجة إلى APIs مدفوعة. تشمل القيود الحالية مشاكل محتملة في النسخ الصوتي باستخدام WhisperX مع الضوضاء الخلفية، أخطاء من LLMs أضعف بسبب متطلبات تنسيق JSON الصارمة، تدبيج غير مثالي بسبب اختلاف معدل الكلام، الاحتفاظ فقط باللغة الرئيسية في الفيديوهات متعددة اللغات، وعدم القدرة على تدبيج شخصيات متعددة بشكل منفصل.