প্রকল্প সম্পর্কে

MinerU একটি উচ্চ-নির্ভুল ডকুমেন্ট পার্সিং ইঞ্জিন, যা জটিল ডকুমেন্ট ফরম্যাটকে ডাউনস্ট্রিম LLM, RAG এবং এজেন্ট ওয়ার্কফ্লোর জন্য মেশিন-পাঠযোগ্য স্ট্রাকচার্ড ডেটায় রূপান্তর করতে ডিজাইন করা হয়েছে। এটি নেটিভভাবে PDF, ছবি, DOCX, PPTX এবং XLSX ইনপুট সমর্থন করে এবং রিডিং-অর্ডার সংরক্ষণসহ Markdown বা JSON আউটপুট দেয়। ## মূল সক্ষমতা - **মাল্টি-ফরম্যাট নেটিভ পার্সিং**: PDF, স্ক্যান করা ডকুমেন্ট, ছবি, DOCX, PPTX এবং XLSX প্রথমে PDF-এ রূপান্তর না করেই প্রসেস করতে পারে। - **স্ট্রাকচার সংরক্ষণ**: হেডার, ফুটার, ফুটনোট এবং পেজ নম্বর সরিয়ে দেয়; এক-কলাম, মাল্টি-কলাম এবং জটিল লেআউটে হেডিং, প্যারাগ্রাফ, লিস্ট, টেবিল এবং টেক্সট মানুষের পড়ার উপযোগী ক্রমে আউটপুট দেয়। - **ফর্মুলা ও টেবিল এক্সট্রাকশন**: ফর্মুলাকে স্বয়ংক্রিয়ভাবে LaTeX-এ এবং টেবিলকে HTML-এ রূপান্তর করে, যার মধ্যে ক্রস-পেজ টেবিল মার্জিং এবং টেবিল কনটেন্ট রিকগনিশন অন্তর্ভুক্ত। - **OCR ইঞ্জিন**: স্ক্যান করা বা গার্বলড PDF স্বয়ংক্রিয়ভাবে শনাক্ত করে OCR চালু করে, ১০৯টি ভাষা সমর্থন করে। সংস্করণ 3.4 অনুযায়ী পাইপলাইন ব্যাকএন্ড PP-OCRv6 ব্যবহার করে। - **ডুয়াল ইনফারেন্স ব্যাকএন্ড**: তিনটি মোড দেয় — `pipeline` (রুল-ভিত্তিক, দ্রুত, CPU/GPU সক্ষম), `vlm-engine` (VLM-ভিত্তিক, উচ্চ নির্ভুলতা, vLLM/LMDeploy/mlx সমর্থন করে), এবং `hybrid-engine` (কম হ্যালুসিনেশনের জন্য নেটিভ টেক্সট এক্সট্রাকশনের সঙ্গে VLM একত্রিত করে)। - **মডেল পছন্দ**: VLM মডেলের মধ্যে MinerU2.5-Pro সিরিজ অন্তর্ভুক্ত; 3.3 রিলিজে গতি ও নির্ভুলতার মধ্যে ভারসাম্য রাখতে `effort` প্যারামিটার (medium/high) চালু করা হয়েছে। ## ইন্টিগ্রেশন ও ডিপ্লয়মেন্ট - **SDK ও ইন্টারফেস**: Python/Go/TypeScript SDK, CLI, REST API, Docker এবং একটি Gradio WebUI। - **ফ্রেমওয়ার্ক**: LangChain, LlamaIndex, RAGFlow, Dify, FastGPT, Flowise এবং MCP Server-এর সঙ্গে নেটিভ ইন্টিগ্রেশন, যা Cursor, Claude Desktop এবং Windsurf-এর মতো AI কোডিং টুলের জন্য। - **রাউটিং ও স্কেলিং**: সিঙ্ক্রোনাস ও অ্যাসিঙ্ক্রোনাস টাস্ক এন্ডপয়েন্টের জন্য `mineru-api` এবং একাধিক সার্ভিস ও GPU জুড়ে ইউনিফায়েড এন্ট্রি ও লোড ব্যালেন্সিংয়ের জন্য `mineru-router` অন্তর্ভুক্ত। মাল্টি-থ্রেডেড কনকারেন্ট ইনফারেন্স সমর্থিত। - **প্ল্যাটফর্ম সমর্থন**: Windows, Linux এবং macOS-এ চলে, যার মধ্যে শুধু CPU পরিবেশ এবং GPU/MPS অ্যাক্সিলারেশন অন্তর্ভুক্ত। - **প্রাইভেট/অফলাইন ডিপ্লয়মেন্ট**: মডেল স্থানীয়ভাবে ডাউনলোড ও ক্যাশ করা যায়; Ascend, Cambricon, Enflame, MetaX, Moore Threads, Kunlunxin, Iluvatar, Hygon, Biren এবং T-Head-এর মতো দেশীয় AI চিপ সমর্থন করে। ## লাইসেন্স ও উৎপত্তি MinerU-এর উৎপত্তি InternLM প্রিট্রেনিং প্রকল্প থেকে এবং এটি OpenDataLab দ্বারা রক্ষণাবেক্ষণ করা হয়। সংস্করণ 3.1.0 থেকে এটি Apache 2.0-ভিত্তিক একটি কাস্টম ওপেন-সোর্স লাইসেন্স ব্যবহার করে (পূর্বে AGPLv3)। mineru.net-এ একটি অনলাইন ওয়েব অ্যাপ, ডেস্কটপ ক্লায়েন্ট এবং API পাওয়া যায়, সঙ্গে Hugging Face ও ModelScope-এ ডেমো রয়েছে।