marker

Markerは、Datalab製のドキュメント変換ツールで、PDFやその他のドキュメント形式をMarkdown、JSON、HTML、またはチャンクに変換します。READMEによると、PDF、画像、PPTX、DOCX、XLSX、HTML、EPUB入力を全言語でサポートし、テーブル、フォーム、数式、インライン数式、リンク、参照、コードブロックを処理します。画像を抽出して保存したり、ヘッダー、フッター、その他のアーティファクトを除去したりできます。 このプロジェクトには2つの主要な変換モードがあります。バランスモードはGPU向けで、レイアウトにsurya VLMを使用し、インライン数式をOCRし、埋め込みテキストが不十分な場合はページ全体を再OCRします。ファストモードはCPU向けに最適化され、pdftext抽出を備えた軽量のrf-detrレイアウト検出器を使用し、VLMの使用を最小限に抑えます。--disable_ocrオプションを指定すると、純粋なテキストレイヤー抽出のためにすべてのVLM呼び出しが無効になります。MarkerはGPU、CPU、またはMPSで動作します。 オプションの--use_llmフラグを使用すると、精度を高めるハイブリッドモードが有効になり、Gemini、Claude、OpenAI互換エンドポイント、Azure、Vertex、OpenRouter、Ollamaをサポートします。READMEによると、バランスモードは、1,403のPDFからなるサードパーティベンチマークolmocr-benchで全体76.0%、デジタルネイティブPDFでは83.5%のスコアを達成しています。 インストールはpip install marker-pdfで行い、非PDF形式の場合はmarker-pdf[full]を使用します。使用方法には、Streamlit GUI（marker_gui）、単一ファイル変換（marker_single）、フォルダ変換（marker）があり、ページ範囲、出力形式、ワーカー数、複数マシンにわたるチャンク化、既存ファイルのスキップなどのオプションがあります。Python APIはPdfConverter、TableConverter、OCRConverterクラスと、カスタム設定用のConfigParserを公開しています。出力形式には、画像リンクとLaTeX数式を含むMarkdown、HTML、ブロックタイプとポリゴンを持つツリー構造のJSON、RAG向けのフラット化されたチャンク形式があります。marker_serverを使用すると、シンプルなFastAPIサーバーを起動できます。 コードはApache 2.0ライセンスですが、モデルの重みは修正版AI Pubs Open Rail-Mライセンスを使用しています。READMEには、より高い精度を備えたChandraモデルを実行するマネージドプラットフォームについても言及されており、デフォルトでのデータ保持ゼロ、SOC 2 Type 2、カスタムBAAが含まれます。