top_news

Top News URLs es un proyecto de recopilación de datos que ha estado reuniendo URLs de artículos de noticias cada hora de quince fuentes de noticias importantes desde 2022. El repositorio almacena una URL por línea en matrices JSON, lo que facilita la revisión de las diferencias de la colección. Las fuentes incluyen ABC, BBC, CBS, CNN, Deutsche Welle, The Guardian, Los Angeles Times, NBC, NPR, The New York Times, Politico, ProPublica, USA Today, The Washington Post y Al Jazeera. El proyecto proporciona una herramienta de línea de comandos construida con Python 3.12+ y uv. Los usuarios pueden ejecutar `top-news update` para recopilar URLs de todas las fuentes o de un sitio específico, `top-news to-parquet` para exportar los datos como archivos Parquet con columnas `site` y `url`, y `top-news upload` para añadir archivos a Dataverse usando un token de API. Las publicaciones históricas de la base de datos de texto completo están disponibles a través de Dataverse con una licencia CC0, mientras que la colección de URLs en el repositorio está bajo CC BY 4.0 y el código está bajo licencia MIT. Los métodos de recopilación evolucionaron con el tiempo: de 2022 a septiembre de 2026 el proyecto utilizó once scripts RSS independientes, y desde septiembre de 2026 utiliza un recolector compartido con feeds RSS más sitemaps de noticias para CNN y USA Today. El README documenta las lagunas de cobertura conocidas, incluidas las fuentes que comenzaron tarde como BBC, The Guardian, Al Jazeera y Deutsche Welle, así como las interrupciones de feeds para CNN y USA Today. Las comprobaciones de desarrollo incluyen Ruff, formateo, pytest y pre-commit, con CI ejecutándose en imágenes Docker estándar de Python 3.12 y 3.14.