প্রকল্প সম্পর্কে

cuesift হলো একটি ট্রায়াজ ইঞ্জিন যা সাবটাইটেল অনুবাদের ফলাফল থেকে শুধুমাত্র সেই আইটেমগুলো বাছাই করে যেগুলি মানুষের দ্বারা যাচাই করা সত্যিই প্রয়োজন। সম্পূর্ণ সাবটাইটেল যাচাই করার পরিবর্তে, এটি একটি ঝুঁকি স্কোর প্রদান করে এবং শুধুমাত্র উচ্চ শতাংশ বা নির্দিষ্ট থ্রেশহোল্ডের উপরের আইটেমগুলোকে রিভিউ কিউ-তে পাঠায়, যা খরচ এবং বটলনেক কমায়। **প্রধান বৈশিষ্ট্যসমূহ** - CLI কমান্ড: `cuesift check` (সাবটাইটেল স্ট্যান্ডার্ড যাচাই – লাইন দৈর্ঘ্য, CPS, সময়ের ওভারল্যাপ সহ ৭ ধরণের লঙ্ঘন), `cuesift translate` (LLM ব্যবহার করে বহুভাষিক অনুবাদ, লক্ষ্য ভাষা অনুযায়ী স্বয়ংক্রিয় স্ট্যান্ডার্ড প্রোফাইল প্রয়োগ), `cuesift transcribe` (STT) - ট্রায়াজ: অনুবাদ শেষ হওয়ার পরপরই Tier 0-এর ৯টি সিগন্যাল (দৈর্ঘ্যের অনুপাত, অনুবাদের হার, ডুপ্লিকেশন, খালি স্ট্রাকচার ইত্যাদি) দিয়ে ঝুঁকির মাত্রা গণনা করা হয়। `--review-budget`, `--review-threshold`, `--review-top-k` ইত্যাদির মাধ্যমে রিভিউ কোটা সেট করা যায়। - Tier 1: সেলফ-কনসিস্টেন্সি (একই সেগমেন্ট পুনরায় অনুবাদ করে তার পরিবর্তন পরিমাপ) এবং ব্যাক-ট্রান্সলেশন (এমবেডিং সিমিলারিটি)-এর মাধ্যমে অর্থগত ত্রুটি শনাক্ত করে। এটি `--tier1` এবং `--embed-model` এর সাথে ব্যবহার করা হয়। - ইনপুট/আউটপুট ফরম্যাট: SRT, WebVTT, ASS, SAMI সমর্থন করে। আউটপুট ফাইলের নাম `{stem}.{target_language}.{extension}` নিয়ম অনুসরণ করে এবং ডুপ্লিকেট ল্যাঙ্গুয়েজ ট্যাগ প্রতিরোধ করে। - ক্যাশ: অনুবাদের ফলাফল `.cuesift/cache/`-এ সংরক্ষণ করা হয় যাতে পুনরায় চালানোর সময় নেটওয়ার্ক খরচ কমে। - রিভিউ রিপোর্ট: JSON অথবা HTML ফরম্যাটে প্রদান করা হয়। **বেঞ্চমার্ক** TED2020 কর্পাস ব্যবহার করে সিন্থেটিক ত্রুটি ইনজেকশন পরীক্ষায় দেখা গেছে যে, ১০% বাজেটে এটি র্যান্ডম সিলেকশনের তুলনায় en-ko-এর জন্য ৭.৩২ গুণ এবং ja-ko-এর জন্য ৭.৫৬ গুণ বেশি ত্রুটি শনাক্তকরণ হার (Recall) প্রদর্শন করেছে। তবে এটি সিন্থেটিক ত্রুটির ভিত্তিতে এবং প্রকৃত অনুবাদ ত্রুটির সাথে এর মিল এখনও যাচাই করা হয়নি। অর্থের বিপরীতমুখী (negation) ত্রুটিগুলো শুধুমাত্র ডিটারমিনিস্টিক সিগন্যাল দিয়ে ধরা প্রায় অসম্ভব, যা Tier 1-এর প্রয়োজনীয়তা প্রমাণ করে। **বর্তমান অবস্থা** এটি বর্তমানে pre-alpha পর্যায়ে রয়েছে, যেখানে Tier 0 সিগন্যাল ইঞ্জিন এবং CLI কমান্ডগুলো বাস্তবায়ন এবং পরিমাপ করা হয়েছে। Tier 1 ব্যাক-ট্রান্সলেশন সিগন্যাল কাজ করলেও ক্যান্ডিডেট সিলেকশন লজিকটি এখনও অসম্পূর্ণ। অফিসিয়াল স্ট্যাবিলাইজেশনের আগে প্রোডাকশনে ব্যবহারের পরামর্শ দেওয়া হয় না।