newspapercodelucas
НОВОЕnewspaper3k — библиотека Python 3 для извлечения и систематизации новостных статей с веб-сайтов; предоставляет инструменты для получения полного текста, метаданных и изображений.
OPEN SOURCE, OPEN TO EVERYONE
Открытый код. Новые возможности.
Находите качественные проекты с открытым исходным кодом, отправляйте проекты анонимно, заявляйте права на свои проекты и редактируйте их.
✳Выбор редакции · Находите хороший open source4109найдено
Немного любопытства. Мир открытого кода.
THE FIRST COLLECTIONTopic: crawling清除
scrapyscrapy
НОВОЕScrapy — быстрый высокоуровневый фреймворк для веб-скрейпинга на Python. Кроссплатформенный, требует Python 3.10+, поддерживается Zyte.
scraplingD4Vinci
НОВОЕАдаптивный фреймворк веб-скрапинга для Python: интеллектуальное отслеживание DOM, обход антибот-защиты, параллельный краулинг с паузой/возобновлением, ротация прокси и вывод, готовый для MCP/AI.
crawlee-pythonapify
НОВОЕCrawlee — это библиотека Python для веб-скрапинга и автоматизации браузеров, предназначенная для создания надежных краулеров. Поддерживает HTTP- и headless-браузерный обход, автоматические повторы, ротацию прокси и хранение данных для AI/LLM-приложений.