منصوبے کے بارے میں

MinerU ایک اعلیٰ درستگی والا دستاویز پارسنگ انجن ہے جو پیچیدہ دستاویزی فارمیٹس کو ڈاؤن اسٹریم LLM، RAG اور ایجنٹ ورک فلو کے لیے مشین کے قابلِ پڑھنے والے منظم ڈیٹا میں تبدیل کرنے کے لیے ڈیزائن کیا گیا ہے۔ یہ PDF، تصاویر، DOCX، PPTX اور XLSX ان پٹس کو مقامی طور پر سپورٹ کرتا ہے، اور پڑھنے کی ترتیب برقرار رکھتے ہوئے Markdown یا JSON آؤٹ پٹ دیتا ہے۔ ## اہم صلاحیتیں - **کثیر الفارمیٹ مقامی پارسنگ**: PDF، اسکین شدہ دستاویزات، تصاویر، DOCX، PPTX اور XLSX کو پہلے PDF میں تبدیل کیے بغیر سنبھالتا ہے۔ - **ساخت کی حفاظت**: ہیڈرز، فوٹرز، فوٹ نوٹس اور صفحہ نمبر ہٹاتا ہے؛ سنگل کالم، ملٹی کالم اور پیچیدہ لے آؤٹس کے لیے سرخیوں، پیراگرافوں، فہرستوں، جدولوں اور متن کو انسانی پڑھنے کی ترتیب میں آؤٹ پٹ کرتا ہے۔ - **فارمولا اور جدول نکالنا**: فارمولوں کو خودکار طور پر LaTeX میں اور جدولوں کو HTML میں تبدیل کرتا ہے، بشمول کراس پیج جدول انضمام اور جدول کے مواد کی شناخت۔ - **OCR انجن**: اسکین شدہ یا خراب PDFs کو خودکار طور پر شناخت کرتا ہے اور OCR فعال کرتا ہے، جو 109 زبانوں کو سپورٹ کرتا ہے۔ پائپ لائن بیک اینڈ ورژن 3.4 کے مطابق PP-OCRv6 استعمال کرتا ہے۔ - **دوہرے انفرنس بیک اینڈز**: تین موڈز پیش کرتا ہے — `pipeline` (قاعدہ پر مبنی، تیز، CPU/GPU کے قابل)، `vlm-engine` (VLM پر مبنی، اعلیٰ درستگی، vLLM/LMDeploy/mlx کو سپورٹ کرتا ہے)، اور `hybrid-engine` (کم ہیلوسینیشن کے لیے مقامی متن نکالنے کو VLM کے ساتھ جوڑتا ہے)۔ - **ماڈل کے انتخاب**: VLM ماڈلز میں MinerU2.5-Pro سیریز شامل ہے؛ 3.3 ریلیز نے رفتار اور درستگی میں توازن کے لیے `effort` پیرامیٹر (medium/high) متعارف کرایا۔ ## انٹیگریشن اور تعیناتی - **SDKs اور انٹرفیسز**: Python/Go/TypeScript SDKs، CLI، REST API، Docker، اور ایک Gradio WebUI۔ - **فریم ورکس**: LangChain، LlamaIndex، RAGFlow، Dify، FastGPT، Flowise، اور MCP Server کے ساتھ مقامی انٹیگریشنز برائے AI کوڈنگ ٹولز جیسے Cursor، Claude Desktop، اور Windsurf۔ - **روٹنگ اور اسکیلنگ**: `mineru-api` برائے ہم وقت اور غیر ہم وقت ٹاسک اینڈ پوائنٹس، اور `mineru-router` برائے متحدہ انٹری اور متعدد سروسز اور GPUs میں لوڈ بیلنسنگ شامل ہیں۔ ملٹی تھریڈڈ کنکرنٹ انفرنس سپورٹ ہے۔ - **پلیٹ فارم سپورٹ**: Windows، Linux اور macOS پر چلتا ہے، بشمول خالص CPU ماحول اور GPU/MPS ایکسیلیریشن۔ - **نجی/آف لائن تعیناتی**: ماڈلز کو مقامی طور پر ڈاؤن لوڈ اور کیش کیا جا سکتا ہے؛ Ascend، Cambricon، Enflame، MetaX، Moore Threads، Kunlunxin، Iluvatar، Hygon، Biren، اور T-Head جیسے مقامی AI چپس کو سپورٹ کرتا ہے۔ ## لائسنس اور ماخذ MinerU کی ابتدا InternLM پری ٹریننگ پروجیکٹ سے ہوئی اور اسے OpenDataLab برقرار رکھتا ہے۔ ورژن 3.1.0 سے شروع کرتے ہوئے، یہ Apache 2.0 (پہلے AGPLv3) پر مبنی ایک حسب ضرورت اوپن سورس لائسنس استعمال کرتا ہے۔ ایک آن لائن ویب ایپ، ڈیسک ٹاپ کلائنٹ، اور API mineru.net پر دستیاب ہیں، جس کے ڈیمو Hugging Face اور ModelScope پر موجود ہیں۔