عن المشروع
Weibo Spider هو برنامج زحف قوي لشبكة سينا ويبو، يهدف إلى مساعدة المستخدمين على الحصول بكفاءة على البيانات العامة المتاحة على منصة ويبو. ويدعم البرنامج جمع البيانات بشكل مستمر لمستخدم واحد أو عدة مستخدمين، ويشمل معلومات المستخدمين مثل الاسم المستعار، والجنس، والموقع، والخبرة التعليمية والمهنية، وعدد المتابعين، إضافة إلى تفاصيل المنشورات مثل نص المنشور، ووقت النشر، وعدد الإعادات والإعجابات والتعليقات، وأداة النشر، ومعلومات الموقع.
أبرز الميزات:
- تصدير بصيغ متعددة: يدعم حفظ نتائج الزحف في ملفات TXT أو CSV أو JSON، أو تخزينها مباشرة في قواعد بيانات MySQL أو MongoDB أو SQLite.
- تنزيل الوسائط: يدعم تنزيل الصور الأصلية ومقاطع الفيديو الموجودة في منشورات ويبو تلقائيًا.
- إعدادات مرنة: يمكن للمستخدمين تحديد النطاق الزمني، وقائمة معرفات المستخدمين، ومسار التخزين عبر ملف الإعدادات.
- قابلية التوسعة: يوفر واجهات برمجية واضحة تتيح للمطورين إجراء تخصيصات شخصية أو دمجه في المهام المؤتمتة.
- التوافق: يدعم بيئة Python 3 ويعمل على أنظمة Windows وLinux وmacOS.
يعتمد المشروع على إعداد Cookie للحصول على صلاحيات الوصول، ويوفر وثائق مفصلة تشرح كيفية الحصول على Cookie وUser ID. كما يتضمن إرشادات الاستشهاد الأكاديمي، ويحتفظ بنسخة بديلة لا تتطلب Cookie باسم weibo-crawler ليختار المستخدم ما يناسبه. تُستخدم هذه الأداة على نطاق واسع في تحليل بيانات وسائل التواصل الاجتماعي، ورصد الرأي العام، والبحوث الأكاديمية.
Comments
0 Rating appears after 10 ratings
Sign in to join the discussion.