منصوبے کے بارے میں

Premove ITN ایک اوپن سورس، سیاق و سباق سے آگاہ الٹا متن نارملائزیشن (ITN) لائبریری ہے جو انگریزی وائس ایجنٹ ٹرانسکرپٹس کے لیے ڈیزائن کی گئی ہے۔ یہ بولی جانے والی ASR (خودکار تقریر کی شناخت) آؤٹ پٹ کو معیاری تحریری شکلوں میں تبدیل کرتی ہے، جیسے فون نمبر، ای میل ایڈریس، شناخت کنندگان، تاریخیں، اوقات، رقم، پیمائشیں، اور حروف عددی کوڈ۔ Premove ITN جس بنیادی چیلنج کو حل کرتا ہے وہ بولی جانے والی زبان کی ابہام ہے۔ مثال کے طور پر، 'one oh five' کا مطلب شناخت کنندہ 105، وقت 1:05، یا کچھ اور بھی ہو سکتا ہے۔ روایتی قاعدہ پر مبنی نظام ہمیشہ یہ طے نہیں کر سکتے کہ بولنے والے کا کیا مطلب تھا۔ Premove ITN اسے سیاق و سباق سے آگاہ اسکورنگ کے ذریعے حل کرتا ہے تاکہ صحیح تحریری شکل منتخب کی جا سکے۔ فن تعمیر تین مرحلہ پائپ لائن پر عمل کرتا ہے: جنریٹ، اسکور، اور ڈی کوڈ۔ پہلے، ایک Rust پر مبنی ادراک پرت بولی جانے والی عبارت کے حصوں کے لیے تمام درست تحریری شکلیں شمار کرتی ہے۔ دوسرے، ایک DeBERTa-v3-large سیاق و سباق اسکورر (435.6M پیرامیٹرز) ٹرانسکرپٹ کو ایک بار انکوڈ کرتا ہے اور ہر امیدوار کو سیاق و سباق کے ماخذ حصے، امیدوار کی قسم کے لیبل، اور مجوزہ تبدیلی کی بنیاد پر اسکور کرتا ہے۔ تیسرے، ایک درست متحرک پروگرامنگ ڈی کوڈر ٹرانسکرپٹ کے ذریعے سب سے زیادہ اسکور کرنے والا مطابقت پذیر راستہ تلاش کرتا ہے، جو اوورلیپنگ امیدواروں کو سنبھالتا ہے۔ معاون شکلوں میں اعداد، ہندسوں کی ترتیبیں، اوقات، تاریخیں، رقم، اعشاریے، پیمائشیں، ترتیبی اعداد، فون نمبر، ای میل اور URLs، ورژن اور شناخت کنندگان، اوقاف، اور مخففات شامل ہیں۔ یہ ٹول صرف انگریزی ہے اور غیر انگریزی تقریر، گلیوں کے پتے، آزادانہ تحریر کی اصلاح، یا صوابدیدی ایپلیکیشن مخصوص فارمیٹس کے لیے فرسٹ کلاس نارملائزیشن فراہم نہیں کرتا۔ 1,500 قطاروں کے منجمد بینچ مارک پر جس میں 400 قطاروں کا مخصوص وائس ایجنٹ ذیلی سیٹ شامل ہے، Premove ITN وائس ایجنٹ ذیلی سیٹ پر 99.50% معنوی درستگی حاصل کرتا ہے، جبکہ text-processing-rs کے لیے 68.25% اور NVIDIA Thutmose کے لیے 67.00% ہے۔ بینچ مارک ایک مصنوعی تناؤ سوٹ ہے جو تربیت اور چیک پوائنٹ انتخاب سے الگ رکھا گیا ہے۔ یہ ٹول PyPI پر Python پیکیج (premove-itn) کے طور پر تقسیم کیا جاتا ہے، جس کے ماڈل وزن Hugging Face (premove-ai/premove-itn) پر میزبانی کیے گئے ہیں۔ موجودہ ریلیز v0.2.0 ہے۔ ماڈل لوڈ کرنا مہنگا ہے (کئی سیکنڈ کی ابتدائی کاری، ~1.6 GB پہلا ڈاؤن لوڈ)، لیکن گرم نارملائزیشن کالز تیز ہیں (Apple M4 MacBook Air پر 56.49 ms اوسط گرم تاخیر)۔ محدودیتوں میں صرف انگریزی سپورٹ، قطعی Rust ادراک کاروں کے ذریعے محدود نارملائزیشن، 512 DeBERTa ٹوکن سے لمبی ان پٹ کو مسترد کرنا، اور CUDA، Windows، macOS Intel، Linux ARM64، اور دیگر ایکسلریٹرز کے لیے غیر تصدیق شدہ سپورٹ شامل ہیں۔ سورس کوڈ اور ماڈل وزن MIT لائسنس یافتہ ہیں۔ سیاق و سباق اسکورر اپنے انکوڈر بیک بون کے طور پر microsoft/deberta-v3-large استعمال کرتا ہے، اور Rust ادراک پرت text-processing-rs (Apache-2.0 لائسنس یافتہ) استعمال کرتی ہے۔