عن المشروع

Top News URLs هو مشروع لجمع البيانات يقوم بجمع روابط المقالات الإخبارية كل ساعة من خمسة عشر مصدرًا إخباريًا رئيسيًا منذ عام 2022. يخزن المستودع رابطًا واحدًا في كل سطر ضمن مصفوفات JSON، مما يسهل مراجعة فروقات المجموعة. تشمل المصادر ABC وBBC وCBS وCNN وDeutsche Welle وThe Guardian وLos Angeles Times وNBC وNPR وThe New York Times وPolitico وProPublica وUSA Today وThe Washington Post وAl Jazeera. يوفر المشروع أداة سطر أوامر مبنية باستخدام Python 3.12+ وuv. يمكن للمستخدمين تشغيل `top-news update` لجمع الروابط من جميع المصادر أو من موقع محدد، و`top-news to-parquet` لتصدير البيانات كملفات Parquet تحتوي على عمودي `site` و`url`، و`top-news upload` لإضافة الملفات إلى Dataverse باستخدام رمز API. تتوفر إصدارات تاريخية لقاعدة بيانات النصوص الكاملة عبر Dataverse بترخيص CC0، بينما مجموعة الروابط في المستودع مرخصة بموجب CC BY 4.0 والكود مرخص بموجب MIT. تطورت طرق الجمع مع مرور الوقت: من عام 2022 حتى سبتمبر 2026 استخدم المشروع أحد عشر سكربت RSS مستقلًا، ومن سبتمبر 2026 فصاعدًا يستخدم جامعًا مشتركًا مع خلاصات RSS بالإضافة إلى خرائط مواقع الأخبار لـ CNN وUSA Today. يوثق ملف README فجوات التغطية المعروفة، بما في ذلك المصادر التي بدأت متأخرة مثل BBC وThe Guardian وAl Jazeera وDeutsche Welle، بالإضافة إلى انقطاعات الخلاصات لـ CNN وUSA Today. تشمل فحوصات التطوير Ruff والتنسيق وpytest وpre-commit، مع تشغيل CI في صور Docker القياسية لـ Python 3.12 و3.14.