عن المشروع

Premove ITN هي مكتبة مفتوحة المصدر للتطبيع العكسي للنص (ITN) المدرك للسياق، مصممة لنسخ وكلاء الصوت باللغة الإنجليزية. تحول مخرجات التعرف التلقائي على الكلام (ASR) إلى أشكال كتابية معيارية للقيم المنظمة مثل أرقام الهواتف وعناوين البريد الإلكتروني والمعرفات والتواريخ والأوقات والمال والقياسات والرموز الأبجدية الرقمية. التحدي الأساسي الذي تعالجه Premove ITN هو غموض اللغة المنطوقة. على سبيل المثال، قد تعني عبارة "one oh five" المعرّف 105، أو الوقت 1:05، أو شيئًا آخر تمامًا. لا تستطيع الأنظمة التقليدية القائمة على القواعد دائمًا تحديد التفسير الذي قصده المتحدث. تحل Premove ITN هذه المشكلة باستخدام تقييم مدرك للسياق لاختيار الصيغة الكتابية الصحيحة. تتبع البنية خط أنابيب من ثلاث خطوات: التوليد والتقييم والفك. أولاً، تقوم طبقة الصياغة المستندة إلى Rust بتعداد جميع الأشكال الكتابية الصالحة لمقاطع النص المنطوق. ثانيًا، يقوم المقيّم السياقي DeBERTa-v3-large (435.6 مليون معامل) بترميز النص مرة واحدة ويقيّم كل مرشح بناءً على مقطع المصدر السياقي وتسميات أنواع المرشحين والاستبدال المقترح. ثالثًا، تستخدم وحدة فك الترميز بالبرمجة الديناميكية الدقيقة للعثور على المسار المتوافق الأعلى تقييمًا عبر النص، مع التعامل مع المرشحين المتداخلين. تشمل الأشكال المدعومة الأرقام والتسلسلات الرقمية والأوقات والتواريخ والمال والأعداد العشرية والقياسات والأرقام الترتيبية وأرقام الهواتف والبريد الإلكتروني وعناوين URL والإصدارات والمعرفات وعلامات الترقيم والاختصارات. الأداة مخصصة للغة الإنجليزية فقط ولا توفر تطبيعًا من الدرجة الأولى للكلام غير الإنجليزي أو عناوين الشوارع أو إعادة الصياغة الحرة أو التنسيقات التطبيقية العشوائية. على معيار ثابت يتكون من 1500 صف مع مجموعة فرعية مخصصة من 400 صف لوكلاء الصوت، تحقق Premove ITN دقة دلالية تبلغ 99.50% على مجموعة وكلاء الصوت، مقارنةً بـ 68.25% لـ text-processing-rs و67.00% لـ NVIDIA Thutmose. المعيار عبارة عن مجموعة اختبار تركيبية صارمة مستبعدة من التدريب واختيار نقاط التفتيش. يتم توزيع الأداة كحزمة Python (premove-itn) على PyPI، مع استضافة أوزان النموذج على Hugging Face (premove-ai/premove-itn). الإصدار الحالي هو v0.2.0. تحميل النموذج مكلف (تهيئة تستغرق عدة ثوانٍ، وتنزيل أول يبلغ حوالي 1.6 جيجابايت)، لكن استدعاءات التطبيع الدافئة سريعة (متوسط زمن الاستجابة الدافئ 56.49 مللي ثانية على Apple M4 MacBook Air). تشمل القيود الدعم الإنجليزي فقط، والتطبيع المحدود بواسطة محولات Rust الحتمية، ورفض المدخلات الأطول من 512 رمزًا لـ DeBERTa، ودعم غير مُتحقق منه لـ CUDA وWindows وmacOS Intel وLinux ARM64 والمسرعات الأخرى. شفرة المصدر وأوزان النموذج مرخصة بموجب MIT. يستخدم المقيّم السياقي microsoft/deberta-v3-large كعمود فقري للمشفر، وتستخدم طبقة الصياغة المستندة إلى Rust text-processing-rs (مرخصة بموجب Apache-2.0).