Об этом проекте

Marker — это инструмент преобразования документов от Datalab, который превращает PDF и другие форматы документов в Markdown, JSON, HTML или чанки. Согласно README, он поддерживает входные форматы PDF, изображения, PPTX, DOCX, XLSX, HTML и EPUB на всех языках, обрабатывает таблицы, формы, уравнения, встроенные математические выражения, ссылки, библиографические ссылки и блоки кода. Он может извлекать и сохранять изображения и удалять верхние и нижние колонтитулы и другие артефакты. Проект предлагает два основных режима преобразования. Сбалансированный режим ориентирован на GPU и использует VLM surya для разметки, OCR встроенных математических формул и повторный OCR целых страниц при плохом встроенном тексте. Быстрый режим оптимизирован для CPU, использует легковесный детектор разметки rf-detr с извлечением pdftext и сводит использование VLM к минимуму. Опция --disable_ocr отключает все вызовы VLM для извлечения чистого текстового слоя. Marker работает на GPU, CPU или MPS. Необязательный флаг --use_llm включает гибридный режим для повышения точности, поддерживая Gemini, Claude, совместимые с OpenAI конечные точки, Azure, Vertex, OpenRouter и Ollama. В README указано, что сбалансированный режим набирает 76,0% в целом на olmocr-bench, стороннем бенчмарке из 1403 PDF-файлов, и 83,5% на изначально цифровых PDF-файлах. Установка производится через pip install marker-pdf, а для форматов, отличных от PDF, — marker-pdf[full]. Использование включает GUI на Streamlit (marker_gui), преобразование одного файла (marker_single) и преобразование папки (marker) с опциями для диапазонов страниц, выходных форматов, количества воркеров, разбиения на чанки между машинами и пропуска существующих файлов. Python API предоставляет классы PdfConverter, TableConverter и OCRConverter, а также ConfigParser для пользовательской конфигурации. Выходные форматы включают Markdown с ссылками на изображения и LaTeX-уравнениями, HTML, древовидный JSON с типами блоков и полигонами, а также плоский формат чанков, предназначенный для RAG. Простой FastAPI-сервер можно запустить с помощью marker_server. Код распространяется под лицензией Apache 2.0, а веса моделей используют модифицированную лицензию AI Pubs Open Rail-M. В README также упоминается управляемая платформа, работающая на модели Chandra с более высокой точностью, нулевым хранением данных по умолчанию, соответствием SOC 2 Type 2 и пользовательскими соглашениями BAA.