প্রকল্প সম্পর্কে

FunClip একটি স্বয়ংক্রিয় ভিডিও ট্রান্সক্রিপশন, সাবটাইটেল-জেনারেশন এবং ক্লিপিং অ্যাপ্লিকেশন। এটি Gradio ওয়েব ইন্টারফেসের মাধ্যমে লোকালি চলে এবং কমান্ড লাইন থেকেও পরিচালনা করা যায়। কাজের প্রক্রিয়া হলো ভিডিও আপলোড করা, স্পিচ রিকগনিশন চালানো, ট্রান্সক্রিপ্ট ও স্পিকার লেবেল পরীক্ষা করা, এক বা একাধিক টেক্সট সেগমেন্ট নির্বাচন করা, এবং ঐচ্ছিক সাবটাইটেলসহ সংশ্লিষ্ট ভিডিও ক্লিপ এক্সপোর্ট করা। মূল ক্ষমতা - FunASR-ভিত্তিক Paraformer মডেল ব্যবহার করে ভিডিও স্পিচ রিকগনিশন, যার মধ্যে টেক্সট-ভিত্তিক ক্লিপিংয়ের জন্য টাইমস্ট্যাম্প পূর্বাভাস অন্তর্ভুক্ত। - নির্দিষ্ট নাম, সত্তা বা অন্যান্য শব্দের স্বীকৃতি উন্নত করতে SeACo-Paraformer-এর মাধ্যমে হটওয়ার্ড সমর্থন। - CAM++-এর সাথে স্পিকার রিকগনিশন, যা স্বয়ংক্রিয়ভাবে নির্ধারিত স্পিকার আইডি দ্বারা ক্লিপ নির্বাচনের অনুমতি দেয়। - স্বীকৃত ট্রান্সক্রিপ্ট থেকে মাল্টি-সেগমেন্ট ক্লিপিং। - সম্পূর্ণ-ভিডিও SRT সাবটাইটেল এবং নির্বাচিত লক্ষ্য সেগমেন্টের জন্য সাবটাইটেল তৈরি। - Pillow এবং একটি বান্ডিল করা ফন্টের সাথে অন্তর্নির্মিত সাবটাইটেল রেন্ডারিং; ImageMagick শুধুমাত্র লিগ্যাসি MoviePy TextClip ওয়ার্কফ্লোগুলির জন্য প্রয়োজন। উপলব্ধ মডেল পাথ - চীনা ভিডিও ক্লিপিংয়ের জন্য ডিফল্ট Paraformer সেটআপ। - ইংরেজি ভাষার বিকল্প ব্যবহার করে ইংরেজি Paraformer স্বীকৃতি। - Fun-ASR-Nano একটি উচ্চ-নির্ভুলতা চেকপয়েন্ট বিকল্প হিসাবে। - SenseVoice আবেগ এবং অডিও-ইভেন্ট ট্যাগ সহ বহুভাষিক ASR-এর জন্য। - দীর্ঘ-ফর্ম ট্রান্সক্রিপশন, সেগমেন্ট-স্তরের টাইমস্ট্যাম্প এবং বেনামী স্পিকার লেবেলের জন্য একটি স্থানীয় vLLM পরিষেবার মাধ্যমে ঐচ্ছিক MOSS-Transcribe-Diarize। MOSS এন্ড-টু-এন্ড সেগমেন্টেশন এবং ডায়ারাইজেশন সম্পাদন করে; ডকুমেন্টেশন উল্লেখ করে যে সুনির্দিষ্ট নির্বিচার টেক্সট ক্লিপিংয়ের জন্য এখনও Paraformer টোকেন টাইমস্ট্যাম্প প্রয়োজন। AI-সহায়তা এবং বিষয়বস্তু-সচেতন নির্বাচন FunClip একটি LLM ব্যবহার করে ট্রান্সক্রিপ্ট বিশ্লেষণ করতে এবং ক্লিপ সেগমেন্ট প্রস্তাব করতে পারে, যা পরে বিদ্যমান AI ক্লিপ ওয়ার্কফ্লোতে পাঠানো হয়। OrcaRouter একটি API কী এবং পরিবেশগত ভেরিয়েবল ব্যবহার করে একটি ঐচ্ছিক OpenAI-সামঞ্জস্যপূর্ণ গেটওয়ে হিসাবে কনফিগার করা যেতে পারে। শুধুমাত্র ট্রান্সক্রিপ্ট টেক্সটের পরিবর্তে ভিজ্যুয়াল এবং অডিওর উপর ভিত্তি করে নির্বাচনের জন্য, TwelveLabs Pegasus ঐচ্ছিকভাবে সক্রিয় করা যেতে পারে; এটির জন্য twelvelabs প্যাকেজ এবং একটি API কী প্রয়োজন। ব্যবহারের বিকল্প স্থানীয় Gradio পরিষেবা Python দিয়ে চালু করা হয় এবং সাধারণত localhost:7860-এ অ্যাক্সেস করা হয়। এটি পোর্ট এবং পাবলিক-অ্যাক্সেস লঞ্চ বিকল্প সমর্থন করে। ব্যবহারকারীরা ModelScope বা Hugging Face Spaces-এর মাধ্যমে প্রকল্পটি চেষ্টা করতে পারেন। কমান্ড-লাইন ব্যবহারের জন্য, FunClip একটি দ্বি-পর্যায় প্রক্রিয়া প্রদান করে: প্রথমে ভিডিওটি চিনুন এবং ট্রান্সক্রিপ্ট/SRT আউটপুট লিখুন, তারপর গন্তব্য টেক্সট, অফসেট এবং একটি আউটপুট ফাইল সহ ক্লিপিং পর্যায় চালান। ইনস্টলেশন এবং লাইসেন্সিং নথিভুক্ত সেটআপে একটি Python 3.12 ভার্চুয়াল পরিবেশ, একটি প্ল্যাটফর্ম-সামঞ্জস্যপূর্ণ PyTorch/torchaudio ইনস্টলেশন এবং প্রকল্পের প্রয়োজনীয়তা ব্যবহার করা হয়। FunClip বর্তমানে তার মডেল এবং সাবটাইটেল সামঞ্জস্য পাথের জন্য funasr>=1.4.9 প্রয়োজন। মডেল ওজন প্রথম ব্যবহারে আলাদাভাবে ডাউনলোড করা হয় এবং তাদের নিজ নিজ মডেল লাইসেন্স দ্বারা পরিচালিত হয়। FunClip সোর্স কোড MIT লাইসেন্সের অধীনে প্রকাশিত হয়।