Об этом проекте

dots.ocr — это открытая vision-language модель, ориентированная на разметку документов. Согласно README, она предназначена для универсальной доступности и распознаёт широкий спектр человеческих систем письма. Сообщается о высоких результатах на многоязычных бенчмарках разбора документов среди моделей сопоставимого размера, а также она обрабатывает структурированную графику, такую как графики и диаграммы, преобразуя их в SVG-код, плюс веб-скриншоты и тексты на сцене. Ключевые возможности, описанные в README: - Многоязычный разбор документов: извлекает элементы разметки с ограничивающими рамками, категориями и текстовым содержимым из изображений и PDF. - Категории разметки включают Caption, Footnote, Formula, List-item, Page-footer, Page-header, Picture, Section-header, Table, Text и Title. - Формат вывода: формулы в LaTeX, таблицы в HTML, остальной текст в Markdown, элементы отсортированы в порядке чтения. - Разбор структурированной графики: преобразует графики, диаграммы, химические формулы и логотипы в SVG-код. - Дополнительные задачи: разбор веб-страниц и обнаружение текста на сцене. - Также поддерживаются общие ответы на вопросы по изображениям. Развёртывание и использование: - Установка через conda и pip, также предлагается Docker-образ. - Веса модели можно загрузить с помощью предоставленного скрипта, включая опцию ModelScope. - Для развёртывания рекомендуется vLLM; в README указано, что dots.ocr интегрирована в vLLM начиная с версии 0.11.0. - Поддерживается инференс через Hugging Face Transformers, включая CPU-инференс, упомянутый в issue. - Скрипт-парсер может обрабатывать одно изображение или PDF с опциями только для детекции разметки или только для текста, и может выводить структурированный JSON, Markdown и визуализированное изображение разметки. - Доступна живая демонстрация. В README также перечислены ограничения: сложные таблицы и математические формулы остаются трудными из-за компактной архитектуры модели, SVG-разбор структурированной графики пока не полностью устойчив, и иногда могут возникать сбои разбора. Отмечается, что dots.ocr-1.5 позже была переименована в dots.mocr, с обновлёнными весами и статьёй.