عن المشروع

eurlex-builder هي أداة سطر أوامر بلغة بايثون قابلة للتهيئة لبناء مجموعات بيانات جاهزة للبحث من المواد التشريعية في EUR-Lex / Cellar. تسترجع التوجيهات واللوائح والقرارات والبلاغات وغيرها من القوانين الأوروبية، ثم تستخرج النص بتفصيل قابل للاختيار: مقالات كاملة، أو فقرات مرقّمة، أو نقاط بحروف. تستهدف الأداة البحث القانوني الكمي ومعالجة اللغة الطبيعية والتصنيف وتحليل الشبكات للتشريعات الأوروبية. تنتج خط المعالجة قاعدة بيانات DuckDB عاملة بالإضافة إلى أربعة جداول Parquet: works وtext_units وrelations وeurovoc. تدعم وضعين رئيسيين للاستعلام: الوضع الثابت، حيث يقدم المستخدمون معرّفات CELEX أو أرقام الإجراءات، والوضع الوصفي، حيث يختار المستخدمون أنواع الوثائق والنطاقات الزمنية ومرشحات كلمات EuroVoc الاختيارية. تتعامل مع بنى HTML متعددة في EUR-Lex وتتضمن استخراجًا احتياطيًا من PDF للوثائق الأقدم أو غير القابلة للقراءة آليًا باستخدام Docling وpymupdf. تشمل القدرات الرئيسية تفكيك ما دون المقالة، وإزالة النصوص النمطية، واستخراج الديباجة والمقالة والملحق، والتقاط العلاقات بين الوثائق مثل الاستشهادات والتعديلات والأسس القانونية والإلغاءات والتوحيدات، والترجمة الاختيارية للمحتوى غير الإنجليزي باستخدام مراجعات Helsinki-NLP Opus-MT. تُحمى الترجمة بإعادة محاولات محدودة بالرموز وفحوص الجودة، وتبقى المخرجات المرفوضة باللغة المصدر بدلًا من استبدال النص الأصلي. تركز الأداة على قابلية التكرار والاستئناف. يحدد ملف YAML واحد مجموعة البيانات، بينما يخزن DuckDB نقاط التحقق وسجلات التشغيل وتجزئات التهيئة المتحقق منها وإصدارات التبعيات وحالة الإكمال. تشمل أوامر سطر الأوامر run وtranslate وenrich وstatus وvalidate. يمكن للإثراء إضافة بيانات وصفية لاحقة عبر SPARQL، بما في ذلك تواريخ بدء النفاذ وELI والمؤسسات المؤلفة والموضوع وتفاصيل الإجراءات وواصفات EuroVoc وعلاقات الإلغاء. ينفذ أمر validate فحوص سلامة للقراءة فقط دون تعديل قاعدة البيانات. يشير ملف README إلى أن استرجاع النص الكامل يعمل على نطاق واسع، لكن الاستخراج التفصيلي هو الأكثر موثوقية للوائح والتوجيهات والقرارات. تُستخرج البلاغات جيدًا لكن بها فجوات معروفة، بينما قد تفقد المقترحات ووثائق عمل الموظفين والسوابق القضائية وحداتها البنيوية أو لا تنتج وحدات نصية. وهذا يجعل المشروع مفيدًا بشكل خاص للباحثين الذين يبنون مجموعات منظمة وقابلة للتدقيق من النصوص التشريعية الأوروبية.