عن المشروع

MinerU هو محرك تحليل مستندات عالي الدقة مصمم لتحويل صيغ المستندات المعقدة إلى بيانات منظمة قابلة للقراءة آليًا لسير عمل LLM وRAG والوكلاء. يدعم أصلاً مدخلات PDF والصور وDOCX وPPTX وXLSX، ويخرج Markdown أو JSON مع الحفاظ على ترتيب القراءة. ## القدرات الرئيسية - **تحليل أصلي متعدد الصيغ**: يتعامل مع PDF والمستندات الممسوحة ضوئيًا والصور وDOCX وPPTX وXLSX دون الحاجة إلى التحويل إلى PDF أولاً. - **الحفاظ على البنية**: يزيل الرؤوس والتذييلات والحواشي وأرقام الصفحات؛ ويخرج العناوين والفقرات والقوائم والجداول والنصوص بترتيب قراءة مقروء للبشر للتخطيطات أحادية العمود ومتعددة الأعمدة والمعقدة. - **استخراج المعادلات والجداول**: يحوّل المعادلات تلقائيًا إلى LaTeX والجداول إلى HTML، بما في ذلك دمج الجداول عبر الصفحات والتعرف على محتوى الجداول. - **محرك OCR**: يكتشف تلقائيًا ملفات PDF الممسوحة ضوئيًا أو المشوهة ويمكّن OCR، مع دعم 109 لغات. تستخدم الواجهة الخلفية pipeline محرك PP-OCRv6 اعتبارًا من الإصدار 3.4. - **واجهتان خلفيتان للاستدلال**: يوفر ثلاثة أوضاع — `pipeline` (قائم على القواعد، سريع، يدعم CPU/GPU)، و`vlm-engine` (قائم على VLM، عالي الدقة، يدعم vLLM/LMDeploy/mlx)، و`hybrid-engine` (يجمع بين استخراج النص الأصلي وVLM لتقليل الهلوسة). - **خيارات النماذج**: تشمل نماذج VLM سلسلة MinerU2.5-Pro؛ وقد قدّم الإصدار 3.3 معامل `effort` (medium/high) لموازنة السرعة والدقة. ## التكامل والنشر - **حزم التطوير والواجهات**: حزم SDK بلغات Python/Go/TypeScript، وCLI، وREST API، وDocker، وواجهة Gradio WebUI. - **الأطر**: تكاملات أصلية مع LangChain وLlamaIndex وRAGFlow وDify وFastGPT وFlowise وMCP Server لأدوات البرمجة بالذكاء الاصطناعي مثل Cursor وClaude Desktop وWindsurf. - **التوجيه والتوسع**: يتضمن `mineru-api` لنقاط نهاية المهام المتزامنة وغير المتزامنة، و`mineru-router` لنقطة دخول موحدة وموازنة الحمل عبر خدمات ووحدات GPU متعددة. يدعم الاستدلال المتزامن متعدد الخيوط. - **دعم المنصات**: يعمل على Windows وLinux وmacOS، بما في ذلك بيئات CPU الصرفة وتسريع GPU/MPS. - **النشر الخاص/دون اتصال**: يمكن تنزيل النماذج وتخزينها مؤقتًا محليًا؛ ويدعم شرائح الذكاء الاصطناعي المحلية مثل Ascend وCambricon وEnflame وMetaX وMoore Threads وKunlunxin وIluvatar وHygon وBiren وT-Head. ## الترخيص والأصول نشأ MinerU من مشروع التدريب المسبق InternLM ويُصان بواسطة OpenDataLab. بدءًا من الإصدار 3.1.0، يستخدم ترخيصًا مفتوح المصدر مخصصًا قائمًا على Apache 2.0 (سابقًا AGPLv3). يتوفر تطبيق ويب عبر الإنترنت وعميل سطح مكتب وAPI على mineru.net، مع عروض توضيحية على Hugging Face وModelScope.