오픈 소스. 새로운 가능성.

newspaper3k는 웹에서 기사를 추출하고 선별하기 위한 Python 3 라이브러리입니다. 전체 텍스트 및 메타데이터 추출 도구를 제공합니다.

EasySpider(이취지)는 완전 무료인 시각적 코딩 없는 웹스크래핑 및 브라우저 자동화 도구로, 그래픽 인터페이스를 통해 요소 클릭만으로 수집 작업을 설계할 수 있다. 명령줄 실행, 플로우차트 논리,定时 태스크와 2차 개발을 지원한다.

Douyin과 TikTok용 오픈소스 자체 호스팅 데이터 API. 게시물, 프로필, 댓글, 플레이리스트 검색 및 무수퍼마크 비디오/이미지 다운로드 지원. 자동 복구 신분 풀, PostgreSQL 아카이빙, REST API/MCP/CLI/웹 콘솔 제공.

Scrapy는 Python용 고속 고수준 웹 스크래핑 프레임워크로, 웹사이트에서 구조화된 데이터를 추출하는 데 사용됩니다. 크로스 플랫폼이며 Python 3.10 이상이 필요하며 Zyte와 기여자들이 유지보수합니다.

Lux는 Go로 작성된 빠르고 간단한 비디오 다운로드 CLI 도구입니다. YouTube, Bilibili, Instagram 등 다양한 사이트에서 영상, 플레이리스트, 이미지, 오디오를 다운로드 지원합니다.

Python용 적응형 웹 스크래핑 프레임워크: 지능형 DOM 추적, 안티봇 우회 페처, 일시정지/재개 가능한 동시 크롤링, 프록시 로테이션, MCP/AI 지원 출력.

Firecrawl은 웹사이트를 LLM이 바로 사용할 수 있는 데이터로 변환하는 오픈소스 API 서비스로, 검색, 스크래핑, 크롤링, 사이트 매핑, 배치 스크래핑 및 AI 에이전트 엔드포인트를 제공합니다.

AH Crawler는 PHP 환경에서 실행되는 오픈 소스 웹사이트 검색 및 분석 도구이다.

Crawlee는 HTTP 및 헤드리스 브라우저 크롤링, 자동 재시도, 프록시 회전, 데이터 저장을 지원하는 Python 웹 스크래핑 및 브라우저 자동화 라이브러리로, AI/LLM 애플리케이션용 크롤러 구축에 적합합니다.