Открытый код. Новые возможности.

newspaper3k — библиотека Python 3 для извлечения и систематизации новостных статей с веб-сайтов; предоставляет инструменты для получения полного текста, метаданных и изображений.

Самостоятельно размещаемый API для сбора данных Douyin и TikTok. Позволяет получать посты, профили авторов, комментарии, плейлисты, а также скачивать видео и фотоальбомы без водяных знаков. Включает самовосстанавливающийся пул идентичностей, архивирование в PostgreSQL, REST API, MCP сервер, CLI и веб-консоль.

Scrapy — быстрый высокоуровневый фреймворк для веб-скрейпинга на Python. Кроссплатформенный, требует Python 3.10+, поддерживается Zyte.

Адаптивный фреймворк веб-скрапинга для Python: интеллектуальное отслеживание DOM, обход антибот-защиты, параллельный краулинг с паузой/возобновлением, ротация прокси и вывод, готовый для MCP/AI.