প্রকল্প সম্পর্কে

Top News URLs একটি ডেটা সংগ্রহ প্রকল্প যা ২০২২ সাল থেকে পনেরোটি প্রধান সংবাদ উৎস থেকে ঘণ্টাভিত্তিক সংবাদ নিবন্ধের URL সংগ্রহ করে আসছে। রিপোজিটরিটি JSON অ্যারেতে প্রতি লাইনে একটি করে URL সংরক্ষণ করে, ফলে সংগ্রহের পার্থক্য পর্যালোচনা করা সহজ হয়। উৎসগুলোর মধ্যে রয়েছে ABC, BBC, CBS, CNN, Deutsche Welle, The Guardian, Los Angeles Times, NBC, NPR, The New York Times, Politico, ProPublica, USA Today, The Washington Post এবং Al Jazeera। প্রকল্পটি Python 3.12+ এবং uv দিয়ে নির্মিত একটি কমান্ড-লাইন টুল সরবরাহ করে। ব্যবহারকারীরা `top-news update` চালিয়ে সব উৎস বা নির্দিষ্ট কোনো সাইট থেকে URL সংগ্রহ করতে পারেন, `top-news to-parquet` চালিয়ে `site` এবং `url` কলামসহ Parquet ফাইল হিসেবে ডেটা রপ্তানি করতে পারেন, এবং `top-news upload` চালিয়ে API টোকেন ব্যবহার করে Dataverse-এ ফাইল যোগ করতে পারেন। ঐতিহাসিক পূর্ণ-পাঠ্য ডেটাবেস রিলিজগুলো CC0 লাইসেন্সের অধীনে Dataverse-এর মাধ্যমে পাওয়া যায়, যেখানে রিপোজিটরির URL সংগ্রহ CC BY 4.0 এবং কোড MIT লাইসেন্সপ্রাপ্ত। সংগ্রহ পদ্ধতি সময়ের সাথে বিবর্তিত হয়েছে: ২০২২ থেকে সেপ্টেম্বর ২০২৬ পর্যন্ত প্রকল্পটি এগারোটি স্বাধীন RSS স্ক্রিপ্ট ব্যবহার করেছিল, এবং সেপ্টেম্বর ২০২৬ থেকে এটি একটি শেয়ার্ড কালেক্টর ব্যবহার করছে যাতে RSS ফিডের সাথে CNN এবং USA Today-এর জন্য নিউজ সাইটম্যাপ রয়েছে। README-তে পরিচিত কভারেজ ঘাটতি নথিভুক্ত করা হয়েছে, যার মধ্যে রয়েছে BBC, The Guardian, Al Jazeera এবং Deutsche Welle-এর মতো দেরিতে শুরু হওয়া উৎস, পাশাপাশি CNN এবং USA Today-এর ফিড বিঘ্ন। ডেভেলপমেন্ট চেকের মধ্যে রয়েছে Ruff, ফরম্যাটিং, pytest এবং pre-commit, যেখানে CI স্ট্যান্ডার্ড Python 3.12 এবং 3.14 Docker ইমেজে চলে।