Открытый код. Новые возможности.

Scrapy — быстрый высокоуровневый фреймворк для веб-скрейпинга на Python. Кроссплатформенный, требует Python 3.10+, поддерживается Zyte.

Адаптивный фреймворк веб-скрапинга для Python: интеллектуальное отслеживание DOM, обход антибот-защиты, параллельный краулинг с паузой/возобновлением, ротация прокси и вывод, готовый для MCP/AI.

Firecrawl — это открытый API-сервис для веб-данных, который выполняет поиск, скрейпинг, обход и взаимодействие с сайтами, преобразуя страницы в чистый Markdown, JSON или скриншоты для использования LLM и AI-агентами.

Crawlee — это библиотека Python для веб-скрапинга и автоматизации браузеров, предназначенная для создания надежных краулеров. Поддерживает HTTP- и headless-браузерный обход, автоматические повторы, ротацию прокси и хранение данных для AI/LLM-приложений.

Maigret is an OSINT command-line tool that builds a dossier on a person from a username alone, checking 3000+ sites, extracting profile data, and exporting reports in HTML, PDF, JSON, CSV and graph formats.