eurlex-builder

eurlex-builderは、EUR-Lex / Cellarの立法資料から研究用データセットを構築するための設定可能なPythonコマンドラインパイプラインです。指令、規則、決定、通報、その他のEU法を取得し、選択可能な粒度（条全体、番号付き段落、または字母付き項目）でテキストを抽出します。このツールは、EU立法の定量的法学研究、NLP、分類、ネットワーク分析を目的としています。 このパイプラインは、DuckDB作業データベースと4つのParquetテーブル（works、text_units、relations、eurovoc）を生成します。2つの主要なクエリモードをサポートしています。固定モードでは、ユーザーがCELEX IDまたは手続番号を指定します。記述モードでは、ユーザーが文書タイプ、日付範囲、任意のEuroVocキーワードフィルターを選択します。複数のEUR-Lex HTML構造を処理し、古い文書や機械可読でない文書に対してはDoclingとpymupdfを用いたPDFフォールバック抽出を含みます。 主な機能には、条項下位分解、定型文の除去、前文・条・附属書の抽出、引用、修正、法的根拠、廃止、統合などの文書間関係の取得、Helsinki-NLP Opus-MTリビジョンを用いた非英語コンテンツの任意翻訳が含まれます。翻訳はトークン制限付きリトライと品質チェックで保護され、拒否された出力は元のテキストを置き換えるのではなく、ソース言語のまま残されます。 このツールは再現性と再開可能性を重視しています。単一のYAMLファイルがデータセットを定義し、DuckDBはチェックポイント、実行マニフェスト、検証済み設定ハッシュ、依存関係バージョン、完了ステータスを保存します。CLIコマンドにはrun、translate、enrich、status、validateが含まれます。エンリッチメントはSPARQLを介して事後メタデータを追加でき、発効日、ELI、作成機関、主題、手続詳細、EuroVoc記述子、廃止関係を含みます。validateコマンドはデータベースを変更せずに読み取り専用の整合性チェックを実行します。 READMEは、全文取得は広く機能するが、粒度の細かい抽出は規則、指令、決定に対して最も信頼性が高いと述べています。通報は良好に抽出されますが既知のギャップがあり、提案、スタッフ作業文書、判例法は構造単位を失うか、テキスト単位を生成しない可能性があります。このため、このプロジェクトはEU立法テキストの構造化された監査可能なコーパスを構築する研究者にとって特に有用です。