প্রকল্প সম্পর্কে

Weibo Spider হলো একটি শক্তিশালী Weibo ক্রলার প্রোগ্রাম যা ব্যবহারকারীদের Weibo প্ল্যাটফর্মের প্রকাশিত ডেটা দক্ষতার সাথে সংগ্রহ করতে সাহায্য করে। এই প্রোগ্রামটি এক বা একাধিক Weibo ব্যবহারকারীর জন্য ধারাবাহিক ডেটা সংগ্রহ সমর্থন করে, যাতে ব্যবহারকারীর তথ্য (যেমন ডাকনাম, লিঙ্গ, অবস্থান, শিক্ষা/কর্ম অভিজ্ঞতা, ফলোয়ার সংখ্যা ইত্যাদি) এবং Weibo পোস্টের বিস্তারিত তথ্য (যেমন পোস্টের মূল বাক্য, প্রকাশের সময়, লাইক/রিটুইট/মন্তব্য সংখ্যা, প্রকাশের টুল, অবস্থানের তথ্য ইত্যাদi) অন্তর্ভুক্ত রয়েছে। প্রধান বৈশিষ্ট্য: - বহু ফরম্যাট রপ্তানি: সংগ্রহ করা ফলাফল TXT, CSV, JSON ফাইলে সংরক্ষণ করা যায়, অথবা সরাসরি MySQL, MongoDB, SQLite ডেটাবেসে সংরক্ষণ করা যায়। - মাল্টিমিডিয়া ডাউনলোড: Weibo পোস্টে থাকা মূল ছবি এবং ভিডিও স্বয়ংক্রিয়ভাবে ডাউনলোড করা সমর্থিত। - নমনীয় কনফিগারেশন: ব্যবহারকারীরা কনফিগারেশন ফাইলের মাধ্যমে সংগ্রহের সময়সীমা, ব্যবহারকারীর আইডি তালিকা এবং সংরক্ষণ পথ সেট করতে পারেন। - সম্প্রসারণযোগ্যতা: পরিষ্কার API ইন্টারফেস প্রদান করা হয়েছে যাতে ডেভেলপাররা ব্যক্তিগতকৃত কাস্টমাইজেশন বা স্বয়ংক্রিয় কাজে সংযুক্ত করতে পারেন। - সামঞ্জস্যতা: Python 3 পরিবেশ সমর্থন করে এবং Windows, Linux এবং macOS-এ চালাতে পারে。 এই প্রকল্পটি Cookie সেট করে অ্যাক্সেস অনুমতি লাভ করে এবং ব্যবহারকারীদের Cookie এবং User ID কীভাবে পাবেন তার বিস্তারিত নথি প্রদান করে। এছাড়া প্রকল্পটিতে গবেষণার জন্য উদ্ধৃতি নির্দেশনা রয়েছে এবং একটি Cookie-মুক্ত সংস্করণ (weibo-crawler) ব্যবহারকারীদের জন্য রক্ষণাবেক্ষণ করা হয়েছে। এই টুলটি সোশ্যাল মিডিয়া ডেটা বিশ্লেষণ, জনমত পর্যবেক্ষণ এবং গবেষণাপত্র লেখা ইত্যাদি ক্ষেত্রে ব্যাপকভাবে ব্যবহৃত হয়।