오픈 소스. 새로운 가능성.

Maigret is an OSINT command-line tool that builds a dossier on a person from a username alone, checking 3000+ sites, extracting profile data, and exporting reports in HTML, PDF, JSON, CSV and graph formats.

Scrapy는 Python용 고속 고수준 웹 스크래핑 프레임워크로, 웹사이트에서 구조화된 데이터를 추출하는 데 사용됩니다. 크로스 플랫폼이며 Python 3.10 이상이 필요하며 Zyte와 기여자들이 유지보수합니다.

Python용 적응형 웹 스크래핑 프레임워크: 지능형 DOM 추적, 안티봇 우회 페처, 일시정지/재개 가능한 동시 크롤링, 프록시 로테이션, MCP/AI 지원 출력.

Firecrawl은 웹사이트를 LLM이 바로 사용할 수 있는 데이터로 변환하는 오픈소스 API 서비스로, 검색, 스크래핑, 크롤링, 사이트 매핑, 배치 스크래핑 및 AI 에이전트 엔드포인트를 제공합니다.

Crawlee는 HTTP 및 헤드리스 브라우저 크롤링, 자동 재시도, 프록시 회전, 데이터 저장을 지원하는 Python 웹 스크래핑 및 브라우저 자동화 라이브러리로, AI/LLM 애플리케이션용 크롤러 구축에 적합합니다.