Об этом проекте

PageIndex — это open-source RAG-движок, который заменяет векторный поиск сходства иерархическим древовидным индексом и рассуждениями LLM. Проект утверждает, что сходство не равносильно релевантности, и для длинных профессиональных документов нужны именно рассуждения, а не поиск по эмбеддингам. Как работает: извлечение состоит из двух этапов. Сначала индексный этап создаёт древовидную структуру документа. Затем этап поиска агентно обходит дерево с помощью LLM, подобно тому как эксперт читает длинный отчёт. Структура дерева извлекается из макета документа без LLM, модель лишь суммирует и уточняет её, поэтому для индексации достаточно базовой модели. Для поиска по дереву рекомендуется использовать лучшую доступную модель чата. Установка и использование: пакет ставится командой pip install -U pageindex. Клиент PageIndexClient настраивается на индексную и чат-модель, документ отправляется для получения doc_id, вопросы задаются через client.chat(). В README описаны локальный режим (индексация, поиск и чат выполняются локально с ключом пользователя) и облачный режим (работа с PageIndex Cloud по API-ключу). Облачный режим включает парсинг, OCR, понимание изображений, построение индекса и управляемое хранение, построчные цитаты и MCP-сервер. Локальный режим подходит для текстовых PDF и локальных рабочих процессов с пословными цитатами. Также описана интеграция с OpenAI Agents SDK и Claude Agent SDK, а слой PageIndex File System позволяет рассуждать над всем корпусом документов, а не над одним файлом. В README указаны бенчмарки: локальная индексация约 $0,001 за страницу, время индексации от 13 секунд до 4,5 минут для документов от 9 до 1098 страниц, утверждается, что нативный ввод PDF обходится в 2,1 раза дороже при 52 страницах и в 16,6 раза дороже при 420 страницах, а точность на FinanceBench достигает 98,7%. Эти данные основаны на документации проекта и не проверялись независимо. Целевые области: финансовые отчёты, юридические документы, регуляторные filings, технические руководства, медицинская литература и академические учебники.