这个项目能做什么

Top News URLs是一个数据收集项目，自2022年以来每小时从十五家主要新闻来源收集新闻文章URL。该仓库以JSON数组格式存储URL，每行一个URL，便于审查收集差异。来源包括ABC、BBC、CBS、CNN、德国之声、卫报、洛杉矶时报、NBC、NPR、纽约时报、政治报、ProPublica、今日美国、华盛顿邮报和半岛电视台。 该项目提供了一个基于Python 3.12+和uv构建的命令行工具。用户可以运行`top-news update`从所有来源或特定网站收集URL，运行`top-news to-parquet`将数据导出为包含`site`和`url`列的Parquet文件，以及运行`top-news upload`使用API令牌将文件添加到Dataverse。历史全文数据库版本通过Dataverse以CC0许可证发布，而仓库中的URL集合采用CC BY 4.0许可证，代码采用MIT许可证。 收集方法随时间演变：从2022年到2026年9月，项目使用了十一个独立的RSS脚本；从2026年9月起，使用带有RSS订阅源以及CNN和今日美国新闻站点地图的共享收集器。README记录了已知的覆盖缺口，包括晚启动的来源如BBC、卫报、半岛电视台和德国之声，以及CNN和今日美国的订阅源中断。开发检查包括Ruff、格式化、pytest和pre-commit，CI在标准Python 3.12和3.14 Docker镜像中运行。