منصوبے کے بارے میں

MediaCrawler ایک اوپن سورس کثیر پلیٹ فارم سوشل میڈیا ڈیٹا کلیکشن ٹول ہے جو Xiaohongshu، Douyin، Kuaishou، Bilibili، Weibo، Tieba، Zhihu اور دیگر مقبول پلیٹ فارمز کی عوامی معلومات کی حمایت کرتا ہے۔ یہ پروجیکٹ Playwright براؤزر آٹومیشن فریم ورک پر مبنی ہے، اور لاگ ان سیشن کو برقرار رکھنے والے براؤزر سیاق و سباق کے ذریعے ڈیٹا حاصل کرتا ہے، جس کے لیے پیچیدہ انکرپشن الگوردمز کو ریورس انجینئرنگ کی ضرورت نہیں۔ اس کے فیچرز میں کی ورڈ سرچ، مخصوص پوسٹ ID کی بنیاد پر کرالنگ، سیکنڈ لیول کمنٹس کی کرالنگ، مخصوص کریٹر کے ہوم پیج کی کرالنگ، لاگ ان سیشن کیشنگ، IP پروکسی پول، اور کمنٹس ورڈ کلاؤڈ جنریشن شامل ہیں۔ ڈیٹا کو CSV، JSON، JSONL، Excel، SQLite اور MySQL فارمیٹس میں محفوظ کیا جاسکتا ہے۔ یہ CLI آپریشن اور WebUI بصری انٹرفیس فراہم کرتا ہے، جس کے ذریعے صارفین کرالر کے پیرامیٹرز کنفیگر کرسکتے ہیں، ریئل ٹائم میں رننگ اسٹیٹس اور لاگز دیکھ سکتے ہیں، اور ڈیٹا کا پیش نظارہ اور برآمد کرسکتے ہیں۔ استعمال کے لیے Chrome براؤزر کی ریموٹ ڈیبگنگ فیچر کو کنفیگر کرنا ضروری ہے، تاکہ موجودہ لاگ ان سیشن کو دوبارہ استعمال کیا جاسکے اور رِسک کنٹرول کم ہو۔ پروجیکٹ واضح طور پر صرف تعلیمی و تحقیقی مقاصد کے لیے استعمال کی شرط کرتا ہے، اور تجارتی یا غیر قانونی استعمال کی ممانعت کرتا ہے۔