প্রকল্প সম্পর্কে

Premove ITN একটি ওপেন-সোর্স, প্রসঙ্গ-সচেতন ইনভার্স টেক্সট নরমালাইজেশন (ITN) লাইব্রেরি, যা ইংরেজি ভয়েস-এজেন্ট ট্রান্সক্রিপ্টের জন্য ডিজাইন করা হয়েছে। এটি কথ্য ASR (অটোমেটিক স্পিচ রিকগনিশন) আউটপুটকে ফোন নম্বর, ইমেল ঠিকানা, আইডেন্টিফায়ার, তারিখ, সময়, অর্থ, পরিমাপ এবং আলফানিউমেরিক কোডের মতো কাঠামোবদ্ধ মানগুলির জন্য ক্যানোনিকাল লিখিত ফর্মে রূপান্তর করে। Premove ITN যে মূল চ্যালেঞ্জটি সমাধান করে তা হল কথ্য ভাষার অস্পষ্টতা। উদাহরণস্বরূপ, 'one oh five' এর অর্থ আইডেন্টিফায়ার 105, সময় 1:05, বা সম্পূর্ণ অন্য কিছু হতে পারে। ঐতিহ্যবাহী নিয়ম-ভিত্তিক সিস্টেমগুলি সবসময় নির্ধারণ করতে পারে না যে বক্তা কোন ব্যাখ্যা বোঝাতে চেয়েছেন। Premove ITN সঠিক লিখিত ফর্ম নির্বাচন করতে প্রসঙ্গ-সচেতন স্কোরিং ব্যবহার করে এটি সমাধান করে। স্থাপত্যটি একটি তিন-ধাপের পাইপলাইন অনুসরণ করে: জেনারেট, স্কোর এবং ডিকোড। প্রথমে, একটি Rust-ভিত্তিক রিয়েলাইজেশন স্তর কথ্য পাঠের স্প্যানগুলির জন্য সমস্ত বৈধ লিখিত ফর্ম গণনা করে। দ্বিতীয়ত, একটি DeBERTa-v3-large কনটেক্সচুয়াল স্কোরার (435.6M প্যারামিটার) ট্রান্সক্রিপ্টটি একবার এনকোড করে এবং প্রসঙ্গ উৎস স্প্যান, প্রার্থী ধরনের লেবেল এবং প্রস্তাবিত প্রতিস্থাপনের উপর ভিত্তি করে প্রতিটি প্রার্থীকে স্কোর করে। তৃতীয়ত, একটি সঠিক ডায়নামিক প্রোগ্রামিং ডিকোডার ট্রান্সক্রিপ্টের মাধ্যমে সর্বোচ্চ-স্কোরিং সামঞ্জস্যপূর্ণ পথ খুঁজে পায়, যা ওভারল্যাপিং প্রার্থীদের পরিচালনা করে। সমর্থিত ফর্মগুলির মধ্যে রয়েছে সংখ্যা, অঙ্ক ক্রম, সময়, তারিখ, অর্থ, দশমিক, পরিমাপ, অর্ডিনাল, ফোন নম্বর, ইমেল এবং URL, সংস্করণ এবং আইডেন্টিফায়ার, বিরাম চিহ্ন এবং সংক্ষিপ্ত রূপ। টুলটি শুধুমাত্র ইংরেজি এবং অ-ইংরেজি বক্তৃতা, রাস্তার ঠিকানা, ফ্রি-ফর্ম পুনর্লিখন বা নির্বিচারে অ্যাপ্লিকেশন-নির্দিষ্ট ফরম্যাটের জন্য প্রথম-শ্রেণীর নরমালাইজেশন প্রদান করে না। 1,500 সারির একটি হিমায়িত বেঞ্চমার্কে একটি ডেডিকেটেড 400-সারির ভয়েস-এজেন্ট সাবসেট সহ, Premove ITN ভয়েস-এজেন্ট সাবসেটে 99.50% শব্দার্থিক নির্ভুলতা অর্জন করে, যেখানে text-processing-rs 68.25% এবং NVIDIA Thutmose 67.00%। বেঞ্চমার্কটি প্রশিক্ষণ এবং চেকপয়েন্ট নির্বাচন থেকে আলাদা রাখা একটি সিন্থেটিক স্ট্রেস স্যুট। টুলটি PyPI-তে একটি Python প্যাকেজ (premove-itn) হিসাবে বিতরণ করা হয়, যার মডেল ওজন Hugging Face (premove-ai/premove-itn) এ হোস্ট করা হয়। বর্তমান রিলিজ v0.2.0। মডেল লোডিং ব্যয়বহুল (মাল্টি-সেকেন্ড ইনিশিয়ালাইজেশন, ~1.6 GB প্রথম ডাউনলোড), তবে উষ্ণ নরমালাইজেশন কলগুলি দ্রুত (Apple M4 MacBook Air-এ 56.49 ms গড় উষ্ণ লেটেন্সি)। সীমাবদ্ধতার মধ্যে রয়েছে শুধুমাত্র ইংরেজি সমর্থন, নির্ধারক Rust রিয়েলাইজার দ্বারা আবদ্ধ নরমালাইজেশন, 512 DeBERTa টোকেনের বেশি ইনপুট প্রত্যাখ্যান এবং CUDA, Windows, macOS Intel, Linux ARM64 এবং অন্যান্য এক্সিলারেটরের জন্য অ-যাচাইকৃত সমর্থন। সোর্স কোড এবং মডেল ওজন MIT লাইসেন্সযুক্ত। কনটেক্সচুয়াল স্কোরার তার এনকোডার ব্যাকবোন হিসাবে microsoft/deberta-v3-large ব্যবহার করে এবং Rust রিয়েলাইজেশন স্তর text-processing-rs (Apache-2.0 লাইসেন্সযুক্ত) ব্যবহার করে।