weibospider

Weibo Spiderは、効率的に微博プラットフォーム上の公開データを取得することを目的とした強力なPython製クローラーです。単一または複数のユーザーを対象に、連続的なデータ収集が可能です。 対応データ： - ユーザー情報：ニックネーム、性別、所在地、学歴・職歴、フォロワー数など。 - 投稿詳細：本文、投稿日時、いいね/リツイート/コメント数、使用デバイス、位置情報など。 主な機能： - 多形式エクスポート：TXT、CSV、JSONファイルへの保存、MySQL、MongoDB、SQLiteデータベースへの直接格納に対応。 - マルチメディアダウンロード：投稿内の元画像や動画を自動でダウンロード。 - 柔軟な設定：設定ファイルにより、収集期間、ユーザーIDリスト、保存先パスなどを指定可能。 - 拡張性：明確なAPIインターフェースを提供し、開発者のカスタマイズや自動化タスクへの統合を容易にします。 - 互換性：Python 3環境およびWindows、Linux、macOSでの実行をサポート。 このプロジェクトはCookieを使用したアクセス認証を行い、CookieとUser IDの取得方法に関する詳細なドキュメントを提供しています。また、学術研究向けの引用情報を含み、Cookie不要版（weibo-crawler）も用意されています。ソーシャルメディアデータ分析、世論監視、学術論文の研究などで広く活用されています。