Sobre o projeto
Weibo Spider é um poderoso rastreador do Sina Weibo, projetado para ajudar usuários a obter eficientemente dados públicos da plataforma. O programa suporta coleta contínua de dados de um ou vários usuários, abrangendo informações de perfil (como apelido, gênero, localização, histórico educacional/profissional, número de seguidores, etc.) e detalhes de posts (como texto, horário de publicação, contagens de curtidas/compartilhamentos/comentários, ferramenta de publicação, informações de localização, etc.).
Principais recursos:
- Exportação em múltiplos formatos: suporta salvar resultados como arquivos TXT, CSV, JSON, ou diretamente em bancos de dados MySQL, MongoDB e SQLite.
- Download de mídia: suporta download automático de imagens e vídeos originais dos posts.
- Configuração flexível: usuários podem definir intervalo de tempo de coleta, lista de IDs de usuários e caminhos de armazenamento via arquivo de configuração.
- Extensibilidade: oferece APIs claras para desenvolvedores personalizarem ou integrarem em tarefas automatizadas.
- Compatibilidade: suporta ambiente Python 3 e roda em Windows, Linux e macOS.
O projeto obtém acesso via configuração de Cookie e fornece documentação detalhada sobre como obter Cookie e User ID. Além disso, inclui instruções de citação para pesquisa acadêmica e mantém uma versão sem Cookie (weibo-crawler) para escolha dos usuários. A ferramenta é amplamente usada em análise de dados de mídias sociais, monitoramento de opinião pública e pesquisa acadêmica.
Comments
0 Rating appears after 10 ratings
Sign in to join the discussion.