Código aberto. Novas possibilidades.

newspaper3k é uma biblioteca Python 3 projetada para extrair e curar artigos da web, fornecendo ferramentas para extração de texto completo e metadados.

易采集EasySpider é uma ferramenta totalmente gratuita de raspagem de web e automação de navegador visual sem código, por meio da interface gráfica basta selecionar elementos da página para criar tarefas de coleta, suportando execução via linha de comando, lógica de fluxograma, tarefas agendadas e desenvolvimento secundário.

Uma API de dados auto-hospedada para Douyin e TikTok. Permite buscar publicações, perfis, comentários e playlists, além de baixar vídeos e álbuns de imagens sem marcas d'água. Conta com pool de identidades autorreparável, arquivamento em PostgreSQL, API REST, servidor MCP, CLI e console web.

Scrapy é um framework de raspagem web rápido e de alto nível para Python, usado para extrair dados estruturados. É multiplataforma, requer Python 3.10+ e é mantido pela Zyte.

Lux é uma ferramenta CLI rápida e simples para download de vídeos, escrita em Go. Suporta o download de vídeos, playlists, imagens e áudio de vários sites como YouTube, Bilibili e Instagram.

Estrutura adaptativa de web scraping para Python: rastreamento inteligente do DOM, fetchers que contornam anti-bot, rastreamento concorrente com pausa/retomada, rotação de proxies e saída pronta para MCP/IA.

Firecrawl é uma API de dados web de código aberto para pesquisar, fazer scraping, rastrear e interagir com sites, convertendo páginas em Markdown, JSON ou capturas de tela prontos para LLMs, para uso por agentes de IA e aplicações.

AH Crawler是支持PHP环境的开源网站搜索与分析工具，具备爬虫、索引、SSL检查等功能。

Crawlee é uma biblioteca Python para web scraping e automação de navegador, criando crawlers confiáveis. Suporta crawling HTTP e headless, retries automáticos, rotação de proxies e armazenamento de dados para aplicações de IA/LLM.