mineru

MinerUは、複雑な文書形式を下流のLLM、RAG、エージェントワークフロー向けの機械可読な構造化データに変換するために設計された高精度の文書解析エンジンです。PDF、画像、DOCX、PPTX、XLSX入力をネイティブにサポートし、読み取り順を保持したMarkdownまたはJSONを出力します。 ## 主な機能 - **マルチフォーマットのネイティブ解析**: PDF、スキャン文書、画像、DOCX、PPTX、XLSXを、事前にPDFへ変換することなく処理します。 - **構造の保持**: ヘッダー、フッター、脚注、ページ番号を除去し、単段組、多段組、複雑なレイアウトに対して、見出し、段落、リスト、表、テキストを人間が読める読み取り順で出力します。 - **数式と表の抽出**: 数式を自動的にLaTeXへ、表をHTMLへ変換します。ページをまたぐ表の結合や表内容の認識も含みます。 - **OCRエンジン**: スキャンまたは文字化けしたPDFを自動検出してOCRを有効化し、109言語をサポートします。パイプラインバックエンドはバージョン3.4時点でPP-OCRv6を使用します。 - **デュアル推論バックエンド**: 3つのモードを提供します — `pipeline`（ルールベース、高速、CPU/GPU対応）、`vlm-engine`（VLMベース、高精度、vLLM/LMDeploy/mlxをサポート）、`hybrid-engine`（ネイティブテキスト抽出とVLMを組み合わせ、ハルシネーションを低減）。 - **モデル選択**: VLMモデルにはMinerU2.5-Proシリーズがあります。3.3リリースでは、速度と精度のバランスを取るための`effort`パラメータ（medium/high）が導入されました。 ## 統合とデプロイ - **SDKとインターフェース**: Python/Go/TypeScript SDK、CLI、REST API、Docker、Gradio WebUI。 - **フレームワーク**: LangChain、LlamaIndex、RAGFlow、Dify、FastGPT、Flowise、およびCursor、Claude Desktop、WindsurfなどのAIコーディングツール向けMCP Serverとのネイティブ統合。 - **ルーティングとスケーリング**: 同期および非同期タスクエンドポイント用の`mineru-api`と、複数サービスおよびGPU間の統合エントリと負荷分散用の`mineru-router`を含みます。マルチスレッド並行推論をサポートします。 - **プラットフォームサポート**: Windows、Linux、macOSで動作し、純粋なCPU環境やGPU/MPSアクセラレーションを含みます。 - **プライベート/オフラインデプロイ**: モデルをローカルにダウンロードしてキャッシュできます。Ascend、Cambricon、Enflame、MetaX、Moore Threads、Kunlunxin、Iluvatar、Hygon、Biren、T-Headなどの国内AIチップをサポートします。 ## ライセンスと起源 MinerUはInternLM事前学習プロジェクトに由来し、OpenDataLabによって保守されています。バージョン3.1.0以降、Apache 2.0に基づくカスタムオープンソースライセンスを使用しています（以前はAGPLv3）。オンラインWebアプリ、デスクトップクライアント、APIはmineru.netで利用可能で、Hugging FaceとModelScopeでデモが公開されています。