منصوبے کے بارے میں

ٹاپ نیوز یو آر ایلز ایک ڈیٹا کلیکشن پروجیکٹ ہے جو 2022 سے پندرہ بڑے خبروں کے ذرائع سے فی گھنٹہ خبروں کے آرٹیکل یو آر ایل جمع کر رہا ہے۔ ریپوزٹری ہر لائن پر ایک یو آر ایل جے ایس او این اریز میں محفوظ کرتی ہے، جس سے کلیکشن کے فرق کا جائزہ لینا آسان ہو جاتا ہے۔ ذرائع میں اے بی سی، بی بی سی، سی بی ایس، سی این این، ڈوئچے ویلے، دی گارڈین، لاس اینجلس ٹائمز، این بی سی، این پی آر، دی نیویارک ٹائمز، پولیٹیکو، پروپبلیکا، یو ایس اے ٹوڈے، دی واشنگٹن پوسٹ، اور الجزیرہ شامل ہیں۔ یہ پروجیکٹ پائتھون 3.12+ اور uv کے ساتھ بنایا گیا ایک کمانڈ لائن ٹول فراہم کرتا ہے۔ صارفین تمام ذرائع یا کسی مخصوص سائٹ سے یو آر ایل جمع کرنے کے لیے `top-news update` چلا سکتے ہیں، ڈیٹا کو `site` اور `url` کالموں کے ساتھ پارکیٹ فائلوں کے طور پر ایکسپورٹ کرنے کے لیے `top-news to-parquet`، اور اے پی آئی ٹوکن استعمال کرتے ہوئے ڈیٹاورس میں فائلیں شامل کرنے کے لیے `top-news upload` استعمال کر سکتے ہیں۔ تاریخی فل ٹیکسٹ ڈیٹابیس ریلیزز ڈیٹاورس کے ذریعے CC0 لائسنس کے ساتھ دستیاب ہیں، جبکہ ریپوزٹری میں یو آر ایل کلیکشن CC BY 4.0 ہے اور کوڈ MIT لائسنس یافتہ ہے۔ جمع کرنے کے طریقے وقت کے ساتھ تبدیل ہوئے: 2022 سے ستمبر 2026 تک پروجیکٹ نے گیارہ آزاد آر ایس ایس اسکرپٹس استعمال کیں، اور ستمبر 2026 کے بعد سے یہ ایک مشترکہ کلیکٹر استعمال کرتا ہے جس میں آر ایس ایس فیڈز کے علاوہ سی این این اور یو ایس اے ٹوڈے کے لیے نیوز سائٹ میپس شامل ہیں۔ README معلوم کوریج خلا کو دستاویز کرتی ہے، جن میں دیر سے شروع ہونے والے ذرائع جیسے بی بی سی، دی گارڈین، الجزیرہ، اور ڈوئچے ویلے کے ساتھ ساتھ سی این این اور یو ایس اے ٹوڈے کے لیے فیڈ میں رکاوٹیں شامل ہیں۔ ڈیولپمنٹ چیکس میں Ruff، فارمیٹنگ، pytest، اور pre-commit شامل ہیں، جبکہ CI معیاری پائتھون 3.12 اور 3.14 ڈوکر امیجز میں چلتا ہے۔