প্রকল্প সম্পর্কে

Marker হল Datalab-এর একটি ডকুমেন্ট রূপান্তর টুল যা PDF এবং অন্যান্য ডকুমেন্ট ফরম্যাটকে Markdown, JSON, HTML বা খণ্ডে রূপান্তর করে। README অনুযায়ী, এটি সব ভাষায় PDF, ছবি, PPTX, DOCX, XLSX, HTML এবং EPUB ইনপুট সমর্থন করে, এবং টেবিল, ফর্ম, সমীকরণ, ইনলাইন গণিত, লিংক, রেফারেন্স এবং কোড ব্লক পরিচালনা করে। এটি ছবি নিষ্কাশন এবং সংরক্ষণ করতে পারে এবং হেডার, ফুটার এবং অন্যান্য আর্টিফ্যাক্ট সরাতে পারে। প্রকল্পটি দুটি প্রধান রূপান্তর মোড অফার করে। ব্যালেন্সড মোড GPU-এর জন্য তৈরি এবং এটি লেআউটের জন্য surya VLM ব্যবহার করে, ইনলাইন গণিত OCR করে, এবং এমবেডেড টেক্সট খারাপ হলে পুরো পৃষ্ঠা পুনরায় OCR করে। ফাস্ট মোড CPU-এর জন্য অপ্টিমাইজ করা, এটি pdftext নিষ্কাশনের সাথে একটি লাইটওয়েট rf-detr লেআউট ডিটেক্টর ব্যবহার করে এবং VLM ব্যবহার ন্যূনতম রাখে। একটি --disable_ocr বিকল্প বিশুদ্ধ টেক্সট-লেয়ার নিষ্কাশনের জন্য সমস্ত VLM কল বন্ধ করে দেয়। Marker GPU, CPU বা MPS-এ চলে। একটি ঐচ্ছিক --use_llm ফ্ল্যাগ উচ্চতর নির্ভুলতার জন্য হাইব্রিড মোড সক্ষম করে, যা Gemini, Claude, OpenAI-সামঞ্জস্যপূর্ণ এন্ডপয়েন্ট, Azure, Vertex, OpenRouter এবং Ollama সমর্থন করে। README-তে বলা হয়েছে যে ব্যালেন্সড মোড olmocr-bench-এ সামগ্রিকভাবে 76.0% স্কোর করে, যা 1,403 PDF-এর একটি তৃতীয়-পক্ষের বেঞ্চমার্ক, এবং জন্ম-ডিজিটাল PDF-এ 83.5% স্কোর করে। ইনস্টলেশন pip install marker-pdf এর মাধ্যমে, এবং non-PDF ফরম্যাটের জন্য marker-pdf[full] ব্যবহার করা হয়। ব্যবহারের মধ্যে রয়েছে একটি Streamlit GUI (marker_gui), একক-ফাইল রূপান্তর (marker_single), এবং ফোল্ডার রূপান্তর (marker) যেখানে পৃষ্ঠা পরিসীমা, আউটপুট ফরম্যাট, ওয়ার্কার, মেশিন জুড়ে খণ্ডীকরণ এবং বিদ্যমান ফাইল এড়িয়ে যাওয়ার বিকল্প রয়েছে। একটি Python API PdfConverter, TableConverter এবং OCRConverter ক্লাস উন্মুক্ত করে, সাথে কাস্টম কনফিগারেশনের জন্য একটি ConfigParser। আউটপুট ফরম্যাটের মধ্যে রয়েছে ছবির লিংক এবং LaTeX সমীকরণ সহ Markdown, HTML, ব্লক টাইপ এবং পলিগন সহ একটি ট্রি-স্ট্রাকচার্ড JSON, এবং RAG-এর উদ্দেশ্যে একটি ফ্ল্যাটেনড খণ্ড ফরম্যাট। marker_server দিয়ে একটি সহজ FastAPI সার্ভার শুরু করা যেতে পারে। কোডটি Apache 2.0 লাইসেন্সযুক্ত, যখন মডেল ওজন একটি পরিবর্তিত AI Pubs Open Rail-M লাইসেন্স ব্যবহার করে। README-তে আরও উল্লেখ করা হয়েছে একটি পরিচালিত প্ল্যাটফর্ম যা Chandra মডেল চালায়, উচ্চতর নির্ভুলতা, ডিফল্টভাবে শূন্য ডেটা ধারণ, SOC 2 Type 2 এবং কাস্টম BAA সহ।