このプロジェクトについて

Top News URLsは、2022年以降、主要15のニュースソースから毎時ニュース記事URLを収集してきたデータ収集プロジェクトです。リポジトリには1行に1つのURLをJSON配列で保存しており、コレクションの差分を容易に確認できます。ソースにはABC、BBC、CBS、CNN、Deutsche Welle、The Guardian、Los Angeles Times、NBC、NPR、The New York Times、Politico、ProPublica、USA Today、The Washington Post、Al Jazeeraが含まれます。 このプロジェクトはPython 3.12以降とuvで構築されたコマンドラインツールを提供しています。`top-news update`を実行すると全ソースまたは特定のサイトからURLを収集でき、`top-news to-parquet`でデータを`site`列と`url`列を持つParquetファイルとしてエクスポートでき、`top-news upload`でAPIトークンを使用してDataverseにファイルを追加できます。過去の全文データベースリリースはCC0ライセンスでDataverseを通じて入手可能で、リポジトリ内のURLコレクションはCC BY 4.0、コードはMITライセンスです。 収集方法は時間とともに進化してきました。2022年から2026年9月までは11の独立したRSSスクリプトを使用し、2026年9月以降はRSSフィードに加えてCNNとUSA Todayのニュースサイトマップを備えた共有コレクターを使用しています。READMEには、BBC、The Guardian、Al Jazeera、Deutsche Welleなどの開始が遅かったソースや、CNNとUSA Todayのフィード中断など、既知のカバレッジギャップが記載されています。開発チェックにはRuff、フォーマット、pytest、pre-commitが含まれ、CIは標準のPython 3.12および3.14 Dockerイメージで実行されます。