top_news

Top News URLs — это проект по сбору данных, который с 2022 года ежечасно собирает URL новостных статей с пятнадцати крупных новостных источников. Репозиторий хранит по одному URL в строке в JSON-массивах, что упрощает просмотр различий в коллекции. Среди источников: ABC, BBC, CBS, CNN, Deutsche Welle, The Guardian, Los Angeles Times, NBC, NPR, The New York Times, Politico, ProPublica, USA Today, The Washington Post и Al Jazeera. Проект предоставляет инструмент командной строки, созданный на Python 3.12+ и uv. Пользователи могут запустить `top-news update` для сбора URL со всех источников или с конкретного сайта, `top-news to-parquet` для экспорта данных в файлы Parquet со столбцами `site` и `url`, а также `top-news upload` для добавления файлов в Dataverse с использованием API-токена. Исторические полнотекстовые релизы базы данных доступны через Dataverse по лицензии CC0, тогда как коллекция URL в репозитории распространяется по лицензии CC BY 4.0, а код — по лицензии MIT. Методы сбора со временем менялись: с 2022 по сентябрь 2026 года проект использовал одиннадцать независимых RSS-скриптов, а с сентября 2026 года применяется общий сборщик с RSS-лентами, дополненный новостными картами сайта для CNN и USA Today. В README задокументированы известные пробелы в покрытии, включая поздно подключённые источники, такие как BBC, The Guardian, Al Jazeera и Deutsche Welle, а также перебои в лентах CNN и USA Today. Проверки при разработке включают Ruff, форматирование, pytest и pre-commit, а CI выполняется в стандартных Docker-образах Python 3.12 и 3.14.