منصوبے کے بارے میں

FunClip ایک خودکار ویڈیو ٹرانسکرپشن، سب ٹائٹل جنریشن، اور کلپنگ ایپلیکیشن ہے۔ یہ Gradio ویب انٹرفیس کے ذریعے مقامی طور پر چلتا ہے اور کمانڈ لائن سے بھی چلایا جا سکتا ہے۔ ورک فلو یہ ہے کہ ایک ویڈیو اپ لوڈ کریں، اسپیچ ریکگنیشن چلائیں، ٹرانسکرپٹ اور اسپیکر لیبلز کا معائنہ کریں، ایک یا زیادہ ٹیکسٹ سیگمنٹس منتخب کریں، اور اختیاری سب ٹائٹلز کے ساتھ متعلقہ ویڈیو کلپ ایکسپورٹ کریں۔ بنیادی صلاحیتیں - FunASR پر مبنی Paraformer ماڈلز کا استعمال کرتے ہوئے ویڈیو اسپیچ ریکگنیشن، جس میں ٹیکسٹ پر مبنی کلپنگ کے لیے ٹائم اسٹیمپ کی پیش گوئی شامل ہے۔ - SeACo-Paraformer کے ذریعے ہاٹ ورڈ سپورٹ، جو مخصوص ناموں، اداروں، یا دیگر اصطلاحات کی پہچان کو بہتر بناتا ہے۔ - CAM++ کے ساتھ اسپیکر ریکگنیشن، جس سے خود بخود تفویض کردہ اسپیکر ID کے ذریعے کلپس منتخب کی جا سکتی ہیں۔ - پہچانے گئے ٹرانسکرپٹ سے ملٹی سیگمنٹ کلپنگ۔ - پوری ویڈیو کے SRT سب ٹائٹلز اور منتخب کردہ ٹارگٹ سیگمنٹس کے لیے سب ٹائٹلز کی تخلیق۔ - Pillow اور ایک شامل فونٹ کے ساتھ بلٹ ان سب ٹائٹل رینڈرنگ؛ ImageMagick صرف میراثی MoviePy TextClip ورک فلو کے لیے ضروری ہے۔ دستیاب ماڈل راستے - چینی ویڈیو کلپنگ کے لیے ڈیفالٹ Paraformer سیٹ اپ۔ - انگریزی زبان کے آپشن کا استعمال کرتے ہوئے انگریزی Paraformer ریکگنیشن۔ - Fun-ASR-Nano بطور اعلیٰ درستگی والا چیک پوائنٹ آپشن۔ - جذبات اور آڈیو ایونٹ ٹیگز کے ساتھ کثیر لسانی ASR کے لیے SenseVoice۔ - طویل فارم ٹرانسکرپشن، سیگمنٹ لیول ٹائم اسٹیمپس، اور گمنام اسپیکر لیبلز کے لیے مقامی vLLM سروس کے ذریعے اختیاری MOSS-Transcribe-Diarize۔ MOSS سیگمنٹیشن اور ڈائریائزیشن اینڈ ٹو اینڈ انجام دیتا ہے؛ دستاویزات نوٹ کرتی ہیں کہ درست صوابدیدی ٹیکسٹ کلپنگ کے لیے اب بھی Paraformer ٹوکن ٹائم اسٹیمپس کی ضرورت ہے۔ AI معاونت اور مواد سے آگاہ انتخاب FunClip ایک LLM کا استعمال کرتے ہوئے ٹرانسکرپٹ کا تجزیہ کر سکتا ہے اور کلپ سیگمنٹس تجویز کر سکتا ہے، جو پھر موجودہ AI کلپ ورک فلو کو بھیجے جاتے ہیں۔ OrcaRouter کو API کلید اور ماحولیاتی متغیرات کا استعمال کرتے ہوئے ایک اختیاری OpenAI مطابق گیٹ وے کے طور پر ترتیب دیا جا سکتا ہے۔ صرف ٹرانسکرپٹ ٹیکسٹ کے بجائے بصری اور آڈیو پر مبنی انتخاب کے لیے، TwelveLabs Pegasus کو اختیاری طور پر فعال کیا جا سکتا ہے؛ اس کے لیے twelvelabs پیکیج اور API کلید درکار ہے۔ استعمال کے اختیارات مقامی Gradio سروس Python کے ساتھ لانچ کی جاتی ہے اور عام طور پر localhost:7860 پر قابل رسائی ہوتی ہے۔ یہ پورٹ اور عوامی رسائی کے لانچ آپشنز کو سپورٹ کرتی ہے۔ صارفین اس پروجیکٹ کو اس کے ModelScope یا Hugging Face Spaces کے ذریعے بھی آزما سکتے ہیں۔ کمانڈ لائن کے استعمال کے لیے، FunClip دو مرحلوں پر مشتمل عمل فراہم کرتا ہے: پہلے ویڈیو کو پہچانیں اور ٹرانسکرپٹ/SRT آؤٹ پٹ لکھیں، پھر منزل کے متن، آفسیٹس، اور آؤٹ پٹ فائل کے ساتھ کلپنگ مرحلہ چلائیں۔ انسٹالیشن اور لائسنسنگ دستاویزی سیٹ اپ Python 3.12 ورچوئل ماحول، ایک پلیٹ فارم مطابق PyTorch/torchaudio انسٹالیشن، اور پروجیکٹ کی ضروریات کا استعمال کرتا ہے۔ FunClip فی الحال اپنے ماڈل اور سب ٹائٹل مطابقت کے راستوں کے لیے funasr>=1.4.9 کی ضرورت ہے۔ ماڈل وزن پہلے استعمال پر الگ سے ڈاؤن لوڈ کیے جاتے ہیں اور ان کے متعلقہ ماڈل لائسنسز کے تابع ہوتے ہیں۔ FunClip سورس کوڈ MIT لائسنس کے تحت جاری کیا گیا ہے۔