इस प्रोजेक्ट के बारे में

Marker, Datalab का एक दस्तावेज़ रूपांतरण टूल है जो PDF और अन्य दस्तावेज़ प्रारूपों को Markdown, JSON, HTML या खंडों में बदलता है। README के अनुसार, यह सभी भाषाओं में PDF, छवि, PPTX, DOCX, XLSX, HTML और EPUB इनपुट का समर्थन करता है, और तालिकाओं, फ़ॉर्म, समीकरणों, इनलाइन गणित, लिंक, संदर्भों और कोड ब्लॉकों को संभालता है। यह छवियों को निकालकर सहेज सकता है और हेडर, फ़ुटर तथा अन्य अवांछित तत्वों को हटा सकता है। परियोजना दो मुख्य रूपांतरण मोड प्रदान करती है। संतुलित मोड GPU के लिए लक्षित है और लेआउट के लिए surya VLM का उपयोग करता है, इनलाइन गणित का OCR करता है, और जब एम्बेडेड टेक्स्ट खराब होता है तो पूरे पृष्ठों को फिर से OCR करता है। तेज़ मोड CPU के लिए अनुकूलित है, pdftext निष्कर्षण के साथ हल्के rf-detr लेआउट डिटेक्टर का उपयोग करता है, और VLM उपयोग को न्यूनतम रखता है। एक --disable_ocr विकल्प शुद्ध टेक्स्ट-लेयर निष्कर्षण के लिए सभी VLM कॉल बंद कर देता है। Marker GPU, CPU या MPS पर चलता है। एक वैकल्पिक --use_llm फ़्लैग उच्च सटीकता के लिए हाइब्रिड मोड सक्षम करता है, जो Gemini, Claude, OpenAI-संगत एंडपॉइंट, Azure, Vertex, OpenRouter और Ollama का समर्थन करता है। README में कहा गया है कि संतुलित मोड olmocr-bench (1,403 PDFs का तृतीय-पक्ष बेंचमार्क) पर समग्र रूप से 76.0% और मूल रूप से डिजिटल PDFs पर 83.5% स्कोर करता है। स्थापना pip install marker-pdf के माध्यम से होती है, गैर-PDF प्रारूपों के लिए marker-pdf[full] के साथ। उपयोग में Streamlit GUI (marker_gui), एकल-फ़ाइल रूपांतरण (marker_single), और फ़ोल्डर रूपांतरण (marker) शामिल है, जिसमें पृष्ठ श्रेणियों, आउटपुट प्रारूपों, वर्कर्स, मशीनों में खंडन, और मौजूदा फ़ाइलों को छोड़ने के विकल्प होते हैं। एक Python API PdfConverter, TableConverter और OCRConverter क्लासेस के साथ-साथ कस्टम कॉन्फ़िगरेशन के लिए ConfigParser उजागर करता है। आउटपुट प्रारूपों में छवि लिंक और LaTeX समीकरणों के साथ Markdown, HTML, ब्लॉक प्रकारों और बहुभुजों के साथ ट्री-संरचित JSON, और RAG के लिए एक सपाट खंड प्रारूप शामिल है। एक सरल FastAPI सर्वर marker_server से शुरू किया जा सकता है। कोड Apache 2.0 लाइसेंस के तहत है, जबकि मॉडल वेट संशोधित AI Pubs Open Rail-M लाइसेंस का उपयोग करते हैं। README में एक प्रबंधित प्लेटफ़ॉर्म का भी उल्लेख है जो Chandra मॉडल चलाता है, जिसमें उच्च सटीकता, डिफ़ॉल्ट रूप से शून्य डेटा प्रतिधारण, SOC 2 Type 2 और कस्टम BAA शामिल हैं।