Открытый код. Новые возможности.

newspaper3k — библиотека Python 3 для извлечения и систематизации новостных статей с веб-сайтов; предоставляет инструменты для получения полного текста, метаданных и изображений.

易采集EasySpider — полностью бесплатный визуальный инструмент веб-скрейпинга и автоматизации браузера без кода, позволяющий через графический интерфейс выбирать элементы веб-страницы для создания задач сбора данных, поддерживает выполнение из командной строки, логику блок-схем, планируемые задачи и вторичную разработку.

Самостоятельно размещаемый API для сбора данных Douyin и TikTok. Позволяет получать посты, профили авторов, комментарии, плейлисты, а также скачивать видео и фотоальбомы без водяных знаков. Включает самовосстанавливающийся пул идентичностей, архивирование в PostgreSQL, REST API, MCP сервер, CLI и веб-консоль.

Scrapy — быстрый высокоуровневый фреймворк для веб-скрейпинга на Python. Кроссплатформенный, требует Python 3.10+, поддерживается Zyte.

Lux — быстрый и простой CLI-инструмент для загрузки видео на Go. Поддерживает скачивание видео, плейлистов, изображений и аудио с YouTube, Bilibili, Instagram и других платформ.

Адаптивный фреймворк веб-скрапинга для Python: интеллектуальное отслеживание DOM, обход антибот-защиты, параллельный краулинг с паузой/возобновлением, ротация прокси и вывод, готовый для MCP/AI.

Firecrawl — это открытый API-сервис для веб-данных, который выполняет поиск, скрейпинг, обход и взаимодействие с сайтами, преобразуя страницы в чистый Markdown, JSON или скриншоты для использования LLM и AI-агентами.

AH Crawler — это открытый инструмент для поиска и анализа веб-сайтов, работающий в среде PHP.

Crawlee — это библиотека Python для веб-скрапинга и автоматизации браузеров, предназначенная для создания надежных краулеров. Поддерживает HTTP- и headless-браузерный обход, автоматические повторы, ротацию прокси и хранение данных для AI/LLM-приложений.