Об этом проекте

Weibo Spider — это мощный парсер Sina Weibo, предназначенный для эффективного получения общедоступных данных с платформы микроблогов. Программа поддерживает непрерывный сбор данных по одному или нескольким пользователям и охватывает информацию о пользователях (например, ник, пол, местоположение, сведения об образовании и опыте работы, число подписчиков), а также подробные сведения о постах (текст, время публикации, количество лайков, репостов и комментариев, инструмент публикации, данные о местоположении и т. д.). Основные функции и особенности: - Экспорт в разные форматы: поддержка сохранения результатов парсинга в файлы TXT, CSV, JSON или напрямую в базы данных MySQL, MongoDB, SQLite. - Загрузка мультимедиа: поддержка автоматической загрузки оригинальных изображений и видео из постов. - Гибкая настройка: пользователи могут задавать временной диапазон, список идентификаторов пользователей и путь хранения через файл конфигурации. - Расширяемость: предоставляются понятные API-интерфейсы, удобные для индивидуальной настройки разработчиками или интеграции в автоматизированные задачи. - Совместимость: поддерживается окружение Python 3, возможна работа в Windows, Linux и macOS. Проект получает доступ через установку Cookie и содержит подробную документацию о том, как получить Cookie и User ID. Кроме того, проект включает указания по цитированию для академических исследований и поддерживает версию без Cookie (weibo-crawler), доступную пользователям по выбору. Этот инструмент широко применяется для анализа данных социальных сетей, мониторинга общественного мнения и академических исследований.