Sobre el proyecto
Weibo Spider es un potente rastreador de Sina Weibo diseñado para ayudar a los usuarios a obtener eficientemente datos públicos de la plataforma Weibo. Este programa admite la extracción continua de datos de uno o múltiples usuarios de Weibo, cubriendo información del usuario (como apodo, género, ubicación, experiencia educativa/laboral, número de seguidores, etc.) y detalles de las publicaciones (como texto del post, hora de publicación, número de me gusta/retweets/comentarios, herramienta de publicación, información de ubicación, etc.).
Características principales:
- Exportación en múltiples formatos: admite guardar los resultados extraídos en archivos TXT, CSV, JSON, o directamente en bases de datos MySQL, MongoDB, SQLite.
- Descarga multimedia: admite la descarga automática de imágenes y videos originales de las publicaciones de Weibo.
- Configuración flexible: los usuarios pueden configurar el rango de tiempo de extracción, la lista de IDs de usuario y las rutas de almacenamiento mediante archivos de configuración.
- Extensibilidad: proporciona una interfaz API clara, facilitando a los desarrolladores la personalización o integración en tareas automatizadas.
- Compatibilidad: admite el entorno Python 3 y puede ejecutarse en Windows, Linux y macOS.
Este proyecto obtiene acceso mediante la configuración de cookies y proporciona documentación detallada para guiar a los usuarios sobre cómo obtener la cookie y el ID de usuario. Además, el proyecto incluye instrucciones de citación para investigación académica y mantiene una versión sin cookies (weibo-crawler) para que los usuarios elijan. Esta herramienta se utiliza ampliamente en análisis de datos de redes sociales, monitoreo de opinión pública e investigación de artículos académicos.
Comments
0 Rating appears after 10 ratings
Sign in to join the discussion.