इस प्रोजेक्ट के बारे में

MinerU एक उच्च-सटीकता वाला डॉक्यूमेंट पार्सिंग इंजन है, जिसे जटिल डॉक्यूमेंट फ़ॉर्मैट को मशीन-पठनीय संरचित डेटा में बदलने के लिए डिज़ाइन किया गया है, ताकि डाउनस्ट्रीम LLM, RAG और एजेंट वर्कफ़्लो में उपयोग किया जा सके। यह मूल रूप से PDF, इमेज, DOCX, PPTX और XLSX इनपुट का समर्थन करता है, और रीडिंग-ऑर्डर बनाए रखते हुए Markdown या JSON आउटपुट देता है। ## मुख्य क्षमताएँ - **मल्टी-फ़ॉर्मैट नेटिव पार्सिंग**: PDF, स्कैन किए गए डॉक्यूमेंट, इमेज, DOCX, PPTX और XLSX को पहले PDF में बदलने की आवश्यकता के बिना संभालता है। - **संरचना संरक्षण**: हेडर, फ़ुटर, फ़ुटनोट और पेज नंबर हटाता है; सिंगल-कॉलम, मल्टी-कॉलम और जटिल लेआउट के लिए हेडिंग, पैराग्राफ, सूचियाँ, टेबल और टेक्स्ट को मानव-पठनीय रीडिंग ऑर्डर में आउटपुट करता है। - **फ़ॉर्मूला और टेबल एक्सट्रैक्शन**: फ़ॉर्मूला को स्वचालित रूप से LaTeX में और टेबल को HTML में बदलता है, जिसमें क्रॉस-पेज टेबल मर्जिंग और टेबल कंटेंट रिकग्निशन शामिल है। - **OCR इंजन**: स्कैन किए गए या खराब PDF का स्वचालित रूप से पता लगाता है और OCR सक्षम करता है, जो 109 भाषाओं का समर्थन करता है। संस्करण 3.4 तक pipeline बैकएंड PP-OCRv6 का उपयोग करता है। - **डुअल इन्फ़रेंस बैकएंड**: तीन मोड प्रदान करता है — `pipeline` (नियम-आधारित, तेज़, CPU/GPU सक्षम), `vlm-engine` (VLM-आधारित, उच्च सटीकता, vLLM/LMDeploy/mlx का समर्थन), और `hybrid-engine` (कम हैलुसिनेशन के लिए नेटिव टेक्स्ट एक्सट्रैक्शन को VLM के साथ जोड़ता है)। - **मॉडल विकल्प**: VLM मॉडल में MinerU2.5-Pro श्रृंखला शामिल है; 3.3 रिलीज़ ने गति और सटीकता को संतुलित करने के लिए `effort` पैरामीटर (medium/high) पेश किया। ## इंटीग्रेशन और डिप्लॉयमेंट - **SDK और इंटरफ़ेस**: Python/Go/TypeScript SDK, CLI, REST API, Docker, और एक Gradio WebUI। - **फ़्रेमवर्क**: LangChain, LlamaIndex, RAGFlow, Dify, FastGPT, Flowise के साथ नेटिव इंटीग्रेशन, और Cursor, Claude Desktop, Windsurf जैसे AI कोडिंग टूल्स के लिए MCP Server। - **रूटिंग और स्केलिंग**: सिंक्रोनस और असिंक्रोनस टास्क एंडपॉइंट के लिए `mineru-api`, और कई सेवाओं तथा GPU पर एकीकृत एंट्री और लोड बैलेंसिंग के लिए `mineru-router` शामिल है। मल्टी-थ्रेडेड कंकरेंट इन्फ़रेंस समर्थित है। - **प्लेटफ़ॉर्म समर्थन**: Windows, Linux और macOS पर चलता है, जिसमें शुद्ध CPU वातावरण और GPU/MPS एक्सेलरेशन शामिल है। - **प्राइवेट/ऑफ़लाइन डिप्लॉयमेंट**: मॉडल को स्थानीय रूप से डाउनलोड और कैश किया जा सकता है; Ascend, Cambricon, Enflame, MetaX, Moore Threads, Kunlunxin, Iluvatar, Hygon, Biren और T-Head जैसे घरेलू AI चिप्स का समर्थन करता है। ## लाइसेंस और उत्पत्ति MinerU की उत्पत्ति InternLM प्रीट्रेनिंग प्रोजेक्ट से हुई और इसका रखरखाव OpenDataLab द्वारा किया जाता है। संस्करण 3.1.0 से शुरू करके, यह Apache 2.0 (पहले AGPLv3) पर आधारित एक कस्टम ओपन-सोर्स लाइसेंस का उपयोग करता है। mineru.net पर एक ऑनलाइन वेब ऐप, डेस्कटॉप क्लाइंट और API उपलब्ध हैं, साथ ही Hugging Face और ModelScope पर डेमो भी उपलब्ध हैं।