منصوبے کے بارے میں

مارکر Datalab کا ایک دستاویز کنورژن ٹول ہے جو PDFs اور دیگر دستاویز فارمیٹس کو Markdown، JSON، HTML یا chunks میں تبدیل کرتا ہے۔ README کے مطابق، یہ تمام زبانوں میں PDF، تصویر، PPTX، DOCX، XLSX، HTML اور EPUB ان پٹس کو سپورٹ کرتا ہے، اور جدولوں، فارموں، مساواتوں، ان لائن ریاضی، لنکس، حوالہ جات اور کوڈ بلاکس کو ہینڈل کرتا ہے۔ یہ تصاویر نکال کر محفوظ کر سکتا ہے اور ہیڈر، فوٹر اور دیگر آرٹیفیکٹس کو ہٹا سکتا ہے۔ یہ پروجیکٹ دو اہم کنورژن موڈز پیش کرتا ہے۔ بیلنسڈ موڈ GPUs کے لیے ہے اور لے آؤٹ کے لیے surya VLM استعمال کرتا ہے، ان لائن ریاضی کا OCR کرتا ہے، اور جب ایمبیڈڈ ٹیکسٹ خراب ہو تو پورے صفحات کا دوبارہ OCR کرتا ہے۔ فاسٹ موڈ CPU کے لیے بہتر بنایا گیا ہے، pdftext نکالنے کے ساتھ ہلکا rf-detr لے آؤٹ ڈیٹیکٹر استعمال کرتا ہے، اور VLM کا استعمال کم سے کم رکھتا ہے۔ ایک --disable_ocr آپشن خالص ٹیکسٹ لیئر نکالنے کے لیے تمام VLM کالز کو بند کر دیتا ہے۔ مارکر GPU، CPU یا MPS پر چلتا ہے۔ ایک اختیاری --use_llm فلیگ اعلی درستگی کے لیے ہائبرڈ موڈ کو فعال کرتا ہے، جو Gemini، Claude، OpenAI-مطابق اینڈ پوائنٹس، Azure، Vertex، OpenRouter اور Ollama کو سپورٹ کرتا ہے۔ README کے مطابق، بیلنسڈ موڈ olmocr-bench پر مجموعی طور پر 76.0% اسکور کرتا ہے، جو 1,403 PDFs کا تھرڈ پارٹی بینچ مارک ہے، اور born-digital PDFs پر 83.5%۔ انسٹالیشن pip install marker-pdf کے ذریعے ہے، غیر PDF فارمیٹس کے لیے marker-pdf[full] کے ساتھ۔ استعمال میں Streamlit GUI (marker_gui)، سنگل فائل کنورژن (marker_single)، اور فولڈر کنورژن (marker) شامل ہیں، جس میں پیج رینجز، آؤٹ پٹ فارمیٹس، ورکرز، مشینوں کے درمیان chunking، اور موجودہ فائلوں کو چھوڑنے کے اختیارات ہیں۔ ایک Python API PdfConverter، TableConverter اور OCRConverter کلاسز کو ظاہر کرتا ہے، ساتھ ہی کسٹم کنفیگریشن کے لیے ConfigParser بھی۔ آؤٹ پٹ فارمیٹس میں Markdown شامل ہے جس میں تصویری لنکس اور LaTeX مساواتیں ہیں، HTML، ایک ٹری سٹرکچرڈ JSON جس میں بلاک ٹائپس اور پولی گونز ہیں، اور RAG کے لیے ایک فلیٹنڈ chunks فارمیٹ۔ ایک سادہ FastAPI سرور marker_server سے شروع کیا جا سکتا ہے۔ کوڈ Apache 2.0 لائسنس یافتہ ہے، جبکہ ماڈل وزن ایک ترمیم شدہ AI Pubs Open Rail-M لائسنس استعمال کرتے ہیں۔ README میں ایک منظم پلیٹ فارم کا بھی ذکر ہے جو Chandra ماڈل چلاتا ہے، جس میں اعلی درستگی، ڈیفالٹ طور پر صفر ڈیٹا برقرار رکھنا، SOC 2 Type 2، اور کسٹم BAAs شامل ہیں۔