প্রকল্প সম্পর্কে

PageLedger একটি ওপেন-সোর্স পাইথন লাইব্রেরি এবং CLI টুল যা OCR এবং নথি এক্সট্রাকশন রানের জন্য অডিটেবল, পৃষ্ঠা-স্তরের ট্র্যাকিং প্রদান করে। এটি টেক্সট এক্সট্রাকশন এবং OCR ইঞ্জিনের চারপাশে আবদ্ধ থাকে, যা প্রতিটি প্রক্রিয়াজাত পৃষ্ঠার জন্য প্রমাণিক, গুণমান সংকেত, খরচ এবং রিভিউ অবস্থা রেকর্ড করে। মূল ক্ষমতাগুলোর মধ্যে রয়েছে: - **পৃষ্ঠা-স্তরের লেজার**: প্রতিটি এক্সট্রাকশন রান JSON, YAML, Markdown এবং রে ব আউটপুট ফাইলের একটি ডিরেক্টরি হিসেবে সংরক্ষিত হয়—ডেটাবেজ বা রানিং সার্ভিস ছাড়াই পরীক্ষাযোগ্য। - **বিল্ট-ইন অ্যাডাপ্টার**: প্লেইন টেক্সট ফাইল, PDF টেক্সট লেয়ার এবং Tesseract OCR শুরু থেকেই সাপোর্ট করে। অ্যাডাপ্টার প্রোটোকল ব্যবহার করে অতিরিক্ত ইঞ্জিন যোগ করা যেতে পারে। - **বাজেট ট্র্যাকিং**: পৃষ্ঠা সংখ্যা, টোকেন ব্যবহার, elapsedTime এবং খরচের আনুমানিক হিসাব রেকর্ড করে, রিপোর্টেড চার্জ এবং কনফিগার্ড সীমার মধ্যে পার্থক্য তৈরি করে। - **গুণমান সংকেত**: রিভিউ প্রয়োজনীয় পৃষ্ঠা শনাক্ত করতে সাহায্য করার জন্য পৃষ্ঠা-ভিত্তিক গুণমান গ্রেড এবং সতর্কতা নির্ধারণ করে। এগুলো নির্ভুলতার স্কোর নয় বরং প্রমাণ-ভিত্তিক ফ্ল্যাগ। - **রিভিউ এবং রিরাan কিউ**: ফ্ল্যাগ করা পৃষ্ঠাগুলো রিরাun করা যায় অথবা ম্যানুয়াল রিভিউয়ের জন্য রাখা যায়। `review-job` সোর্স নথির সাথে আবদ্ধ পরীক্ষকের সিদ্ধান্ত রেকর্ড করে। - **রিসামেবল রান**:中断 রান এবং নথি জব চেকপয়েন্ট প্রমাণ বজায় রাখে। সংরক্ষিত রেসপন্স যাচাই এবং পুনরায় এক্সট্রাক্ট না করে ব্যবহার করতে `pageledger resume` ব্যবহার করুন। - **রান তুলনা**: `pageledger compare-runs` একই সোর্সে বিভিন্ন এক্সট্রাকশন প্রচেষ্টার পার্শ্ব-আলোচনামূলক বিশ্লেষণ সম্ভব করে। - **নরমালাইজড রেকর্ড**: `align` পুনরায় এক্সট্রাকশন ছাড়াই ঘোষিত কলাম এবং গাণিতিক পরীক্ষার ভিত্তিতে কাঠামোবদ্ধ রেকর্ড (টেবিল, JSON, CSV) সংশোধন করতে পারে। ইনস্টলেশনের জন্য Python 3.10+ প্রয়োজন এবং এটি PyPI-তে পাওয়া যায়। `pageledger[pdf]` এক্সট্রা PDF সাপোর্ট যোগ করে; স্ক্যান করা PDF-এর জন্য Poppler এবং Tesseractও প্রয়োজন, যা `pageledger doctor` দিয়ে যাচাই করা যেতে পারে। টুলটি একটি সোভিয়েত আদমশুমারি ডিজিটালাইজেশন প্রকল্প থেকে উৎপন্ন হয়েছে এবং আর্কাইভ, ইতিহাসবিদ এবং গবেষণা দলের জন্য ডিজাইন করা হয়েছে যাদের নথি থেকে বের করা আউটপুট সোর্স পৃষ্ঠায় ফিরে trace করতে হবে এবং ফলাফল কীভাবে উৎপাদিত হয়েছিল তা পুনর্গঠন করতে হবে। একটি ৬০-পৃষ্ঠার ভ্যালিডেশন রিপোর্ট নথ্যভুক্ত করে যে স্বয়ংক্রিয় চেকগুলো কী ধরে ফেলে এবং কোথায় মানব রিভিউ এখনও প্রয়োজন।