top_news

Top News URLs é um projeto de coleta de dados que reúne URLs de artigos de notícias a cada hora de quinze grandes fontes de notícias desde 2022. O repositório armazena uma URL por linha em matrizes JSON, facilitando a revisão das diferenças da coleta. As fontes incluem ABC, BBC, CBS, CNN, Deutsche Welle, The Guardian, Los Angeles Times, NBC, NPR, The New York Times, Politico, ProPublica, USA Today, The Washington Post e Al Jazeera. O projeto oferece uma ferramenta de linha de comando criada com Python 3.12+ e uv. Os usuários podem executar `top-news update` para coletar URLs de todas as fontes ou de um site específico, `top-news to-parquet` para exportar os dados como arquivos Parquet com as colunas `site` e `url`, e `top-news upload` para adicionar arquivos ao Dataverse usando um token de API. Lançamentos históricos do banco de dados de texto completo estão disponíveis por meio do Dataverse com licença CC0, enquanto a coleção de URLs no repositório está sob CC BY 4.0 e o código está sob licença MIT. Os métodos de coleta evoluíram ao longo do tempo: de 2022 a setembro de 2026, o projeto usou onze scripts RSS independentes e, a partir de setembro de 2026, passou a usar um coletor compartilhado com feeds RSS e sitemaps de notícias para CNN e USA Today. O README documenta lacunas de cobertura conhecidas, incluindo fontes que começaram mais tarde, como BBC, The Guardian, Al Jazeera e Deutsche Welle, bem como interrupções de feed para CNN e USA Today. As verificações de desenvolvimento incluem Ruff, formatação, pytest e pre-commit, com CI executado em imagens Docker padrão do Python 3.12 e 3.14.