عن المشروع

PageLedger هي مكتبة بايثون مفتوحة المصدر وأداة سطر أوامر توفر تتبعًا قابلًا للتدقيق على مستوى الصفحات لعمليات OCR واستخراج الوثائق. تقوم هذه الأداة بتغليف محركات استخراج النصوص وOCR، وتسجيل مصدر البيانات، وإشارات الجودة، والتكاليف، وحالة المراجعة لكل صفحة يتم معالجتها. القدرات الأساسية تشمل: - **دفاتر الحسابات على مستوى الصفحات**: يتم تخزين كل عملية استخراج كدليل على ملفات JSON وYAML وMarkdown والملفات الخام، مما يسمح بفحصها دون الحاجة إلى قاعدة بيانات أو تشغيل خدمة. - **المحولات المدمجة**: تدعم ملفات النصوص العادية، وطبقات نص PDF، وTesseract OCR بشكل افتراضي. يمكن إضافة محركات إضافية عبر بروتوكول المحولات. - **تتبع الميزانية**: يسجل عدد الصفحات، واستخدام الرموز، والوقت المنقضي، وتقديرات التكلفة، مع التمييز بين الرسوم المبلغ عنها والحدود المحددة. - **إشارات الجودة**: يتم تعيين درجات جودة وتحذيرات لكل صفحة للمساعدة في تحديد الصفحات التي تحتاج إلى مراجعة. هذه ليست درجات دقة، بل علامات قائمة على الأدلة. - **قوائم المراجعة وإعادة التشغيل**: يمكن إعادة تشغيل الصفحات المُعلَّمة أو الاحتفاظ بها للمراجعة البشرية. يقوم `review-job` بتسجيل قرارات المراجع المرتبطة بالوثيقة المصدر. - **عمليات التشغيل القابلة للاستئناف**: تحتفظ عمليات التشغيل المتقطعة ووظائف الوثائق بأدلة على نقاط التحقق. استخدم `pageledger resume` للتحقق من الاستجابات المحفوظة وإعادة استخدامها دون إعادة الاستخراج. - **مقارنة العمليات**: يتيح `pageledger compare-runs` تحليلًا جنبًا إلى جنب لمحاولات استخراج مختلفة لنفس المصدر. - **السجلات الموحدة**: يمكن لـ `align` مراجعة السجلات المنظمة (الجداول، JSON، CSV) مقابل الأعمدة المعلنة والفحوصات الحسابية دون إعادة الاستخراج. يتطلب التثبيت استخدام Python 3.10+ وهو متاح على PyPI. يضيف الخيار الإضافي `pageledger[pdf]` دعمًا لملفات PDF؛ تتطلب ملفات PDF الممسوحة ضوئيًا أيضًا Poppler وTesseract، ويمكن التحقق من ذلك باستخدام `pageledger doctor`. نشأت الأداة من مشروع رقمنة التعداد السوفيتي، وهي مصممة للأرشيفات والمؤرخين وفرق البحث التي تحتاج إلى تتبع المخرجات المستخرجة إلى صفحات المصدر وإعادة بناء كيفية إنتاج النتائج. يوثق تقرير التحقق المكون من 60 صفحة ما الذي تلتقطه الفحوصات الآلية وأين تظل المراجعة البشرية ضرورية.