इस प्रोजेक्ट के बारे में

VideoLingo एक व्यापक वीडियो अनुवाद और डबिंग टूल है जो Netflix-क्वालिटी सबटाइटल बनाने के लिए डिज़ाइन किया गया है। यह मशीन अनुवाद की सामान्य समस्याओं को दूर करता है—जैसे कि केवल सिंगल-लाइन सबटाइटल, रूखा अनुवाद, और उच्च-गुणवत्ता डबिंग की कमी—को हल करता है। मुख्य क्षमताएं: - yt-dlp के माध्यम से YouTube वीडियो डाउनलोड - WhisperX (large-v3) के साथ word-level सबटाइटल पहचान, जो लोकली या API के माध्यम से चल सकती है - NLP और AI-आधारित सबटाइटल सेगमेंटेशन - Custom और AI-जनित terminology, जो सुसंगत अनुवाद सुनिश्चित करता है - Translate-Reflect-Adaptation की 3-चरणीय प्रक्रिया, जो सिनेमाई गुणवत्ता का अनुवाद देती है - Netflix-मानक सिंगल-लाइन सबटाइटल आउटपुट - GPT-SoVITS, Azure, OpenAI, Fish-TTS, Edge-TTS और custom TTS के माध्यम से डबिंग समर्थन - Streamlit web UI के माध्यम से one-click स्टार्टअप और प्रोसेसिंग, जिसमें multi-language समर्थन है - Task control, जिससे उपयोगकर्ता किसी भी चरण पर pause, resume या stop कर सकते हैं - Detailed logging के साथ progress resumption - Model search box जिसमें API auto-fetch होता है, जो provider की पूरी सूची से models को filter करता है Supported input languages में English, Russian, French, German, Italian, Spanish, Japanese और Chinese शामिल हैं। अनुवाद सभी भाषाओं में संभव है, जबकि डबिंग भाषा चुने गए TTS method पर निर्भर करती है। Installation के विकल्पों में uv (recommended) शामिल है, जो automated Python environment setup देता है, साथ ही Conda या Docker भी उपलब्ध है। प्रोजेक्ट OpenAI-compatible API formats को LLM integration के लिए और विभिन्न TTS interfaces को समर्थन देता है। यह पूरी तरह से locally Ollama और Edge-TTS के साथ चल सकता है, जिसके लिए paid APIs की आवश्यकता नहीं होती। वर्तमान सीमाएं: background noise के कारण WhisperX transcription में समस्याएं, कमजोर LLMs से strict JSON format requirements के कारण errors, speech rate differences के कारण अपूर्ण डबिंग, multilingual videos में केवल मुख्य भाषा का retention, और अलग-अलग characters को separately डब करने में असमर्थता।