프로젝트 소개

Top News URLs는 2022년부터 15개 주요 뉴스 소스에서 뉴스 기사 URL을 매시간 수집해 온 데이터 수집 프로젝트입니다. 저장소는 JSON 배열에 한 줄당 하나의 URL을 저장하여 컬렉션 diff를 쉽게 검토할 수 있게 합니다. 소스에는 ABC, BBC, CBS, CNN, Deutsche Welle, The Guardian, Los Angeles Times, NBC, NPR, The New York Times, Politico, ProPublica, USA Today, The Washington Post, Al Jazeera가 포함됩니다. 이 프로젝트는 Python 3.12+와 uv로 구축된 명령줄 도구를 제공합니다. 사용자는 `top-news update`를 실행하여 모든 소스 또는 특정 사이트에서 URL을 수집하고, `top-news to-parquet`를 실행하여 `site` 및 `url` 열이 있는 Parquet 파일로 데이터를 내보내고, `top-news upload`를 실행하여 API 토큰을 사용해 Dataverse에 파일을 추가할 수 있습니다. 역사적 전체 텍스트 데이터베이스 릴리스는 CC0 라이선스로 Dataverse를 통해 제공되며, 저장소의 URL 컬렉션은 CC BY 4.0이고 코드는 MIT 라이선스입니다. 수집 방법은 시간이 지나며 발전했습니다. 2022년부터 2026년 9월까지 이 프로젝트는 11개의 독립적인 RSS 스크립트를 사용했고, 2026년 9월부터는 RSS 피드와 CNN 및 USA Today용 뉴스 사이트맵을 갖춘 공유 수집기를 사용합니다. README는 BBC, The Guardian, Al Jazeera, Deutsche Welle과 같은 늦게 시작된 소스와 CNN 및 USA Today의 피드 중단을 포함한 알려진 커버리지 격차를 문서화합니다. 개발 검사에는 Ruff, 포맷팅, pytest, pre-commit이 포함되며, CI는 표준 Python 3.12 및 3.14 Docker 이미지에서 실행됩니다.