weibospider

Weibo Spider est un programme de scraping puissant pour Sina Weibo, conçu pour aider les utilisateurs à collecter efficacement les données publiques de la plateforme. Il prend en charge l'extraction continue de données pour un ou plusieurs utilisateurs, couvrant les informations de profil (telles que le pseudonyme, le sexe, la localisation, l'expérience éducative/professionnelle, le nombre d'abonnés, etc.) ainsi que les détails des publications (tels que le contenu du message, l'heure de publication, le nombre de likes/partages/commentaires, l'outil de publication, les informations de localisation, etc.). Principales fonctionnalités : - Export multi-format : prend en charge l'enregistrement des résultats dans des fichiers TXT, CSV, JSON, ou leur insertion directe dans des bases de données MySQL, MongoDB, SQLite. - Téléchargement multimédia : prend en charge le téléchargement automatique des images et vidéos originales des publications. - Configuration flexible : les utilisateurs peuvent définir la plage temporelle de collecte, la liste des identifiants utilisateur et les chemins de stockage via un fichier de configuration. - Extensibilité : fournit une interface API claire, facilitant la personnalisation par les développeurs ou l'intégration dans des tâches automatisées. - Compatibilité : prend en charge l'environnement Python 3 et fonctionne sur Windows, Linux et macOS. Ce projet obtient l'accès en définissant des cookies et fournit une documentation détaillée pour guider les utilisateurs dans l'obtention du cookie et de l'identifiant utilisateur. De plus, le projet inclut des instructions de citation pour la recherche académique et maintient une version sans cookie (weibo-crawler) à la disposition des utilisateurs. Cet outil est largement utilisé dans l'analyse de données des médias sociaux, la surveillance de l'opinion publique et la recherche académique.