top_news

Top News URLs est un projet de collecte de données qui rassemble des URL d'articles de presse toutes les heures depuis quinze grandes sources d'information depuis 2022. Le dépôt stocke une URL par ligne dans des tableaux JSON, ce qui facilite l'examen des différences de collecte. Les sources incluent ABC, BBC, CBS, CNN, Deutsche Welle, The Guardian, Los Angeles Times, NBC, NPR, The New York Times, Politico, ProPublica, USA Today, The Washington Post et Al Jazeera. Le projet fournit un outil en ligne de commande développé avec Python 3.12+ et uv. Les utilisateurs peuvent exécuter `top-news update` pour collecter les URL de toutes les sources ou d'un site spécifique, `top-news to-parquet` pour exporter les données sous forme de fichiers Parquet avec les colonnes `site` et `url`, et `top-news upload` pour ajouter des fichiers à Dataverse à l'aide d'un jeton API. Des versions historiques de la base de données en texte intégral sont disponibles via Dataverse sous licence CC0, tandis que la collection d'URL du dépôt est sous licence CC BY 4.0 et le code sous licence MIT. Les méthodes de collecte ont évolué au fil du temps : de 2022 à septembre 2026, le projet utilisait onze scripts RSS indépendants, et depuis septembre 2026, il utilise un collecteur partagé avec des flux RSS ainsi que des sitemaps d'actualités pour CNN et USA Today. Le README documente les lacunes de couverture connues, notamment les sources ayant démarré tardivement comme BBC, The Guardian, Al Jazeera et Deutsche Welle, ainsi que les interruptions de flux pour CNN et USA Today. Les vérifications de développement incluent Ruff, le formatage, pytest et pre-commit, avec une intégration continue exécutée dans des images Docker Python 3.12 et 3.14 standard.