オープンソース。新しい可能性。

IBM ResearchのDoclingは、PDFやOfficeファイル、画像、音声、動画など多様な形式のドキュメントを解析し、生成AIアプリケーション向けに準備するライブラリです。高度なレイアウト理解、OCR、VLMサポートに加え、LangChainなどのフレームワークと連携可能で、RAGやエージェントワークフローに対応します。

Defuddleは、Webページからメインコンテンツを抽出し、ノイズを除去してクリーンなHTMLまたはMarkdownを返すJavaScriptライブラリです。ブラウザ、Node.js、CLIでの利用に対応し、メタデータの取得や標準化機能を提供します。

mq-dbは、Markdownを区間インックス付きの構造化された階層型ストアとして扱うRust製の組み込みデータベースで、SQLとmqクエリ、全文検索、書き戻し編集をサポートします。