pageindex

PageIndexは、ベクトル類似検索を階層的ツリーインデックスとLLM推論に置き換えるオープンソースの検索拡張生成（RAG）エンジンです。プロジェクトは、類似性と関連性は同じではないと主張し、長文の専門文書における関連性は埋め込み検索ではなく推論が必要であると述べています。 仕組み: 検索は2段階で行われます。まず、インデックスステップで各ドキュメントに対してツリー構造のインデックスが生成されます。次に、検索ステップでLLM推論を用いてエージェント的にそのツリーを探索し、長いレポートを人間の専門家がナビゲートするのと同様に動作します。READMEによると、ツリー構造はLLMを使わずにドキュメントのレイアウトから抽出され、インデックスモデルはそれを要約・改良するだけなので、インデックス時には基本的なモデルで十分だと言われています。ツリーを探索するチャットモデルについては、READMEでは利用可能な最高のモデルを使用することを推奨しています。 インストールと使い方: SDKは `pip install -U pageindex` でインストールします。PageIndexClientはインデックスモデルとチャットモデルを設定し、ドキュメントを送信してdoc_idを取得し、`client.chat()` で質問を行います。READMEでは、ユーザーのマシンで自分のLLMキーを使ってインデックス作成、検索、チャットを実行するローカルモードと、APIキーを使って同じクライアントをPageIndex Cloudに向けるクラウドモードについて言及しています。クラウドモードは、パース、OCR、画像理解、ツリーインデックス構築、管理されたストレージを処理し、行レベルの引用とMCPサーバーを提供すると説明されています。一方、ローカルモードはテキストが多いPDFやページレベルの引用を伴うローカルワークフロー向けに位置付けられています。 READMEではまた、OpenAI Agents SDKやClaude Agent SDKなどのエージェントフレームワークとの統合、そして単一ドキュメントではなくコーパス全体に対して推論を行うPageIndex File Systemレイヤーについても説明しています。 READMEに記載されているベンチマークによると、ローカルでのインデックスコストはおおよそ1ページあたり0.001ドル、ドキュメントページ数9〜1,098ページに対するインデックス時間は約13秒から4.5分、ネイティブPDF入力は52ページで2.1倍、420ページで16.6倍コストがかかると主張する比較、そしてFinanceBenchでの報告精度98.7%があります。これらの数値はプロジェクト自身のドキュメントとベンチマークリポジトリから得られたものであり、ここでは独立して検証していません。 READMEで挙げられているターゲットユースケースには、財務報告、法務文書、規制提出書類、技術マニュアル、医学文献、学術教科書などが含まれます。