오픈 소스. 새로운 가능성.

requests 기반의 Bilibili 비디오 일괄 다운로더로, 분할 P 다운로드, 자막, 탄막 및 커버 이미지 추출을 지원하며 그래픽 인터페이스와 AI 말뭉치 전사 기능을 제공합니다.

newspaper3k는 웹에서 기사를 추출하고 선별하기 위한 Python 3 라이브러리입니다. 전체 텍스트 및 메타데이터 추출 도구를 제공합니다.

EasySpider(이취지)는 완전 무료인 시각적 코딩 없는 웹스크래핑 및 브라우저 자동화 도구로, 그래픽 인터페이스를 통해 요소 클릭만으로 수집 작업을 설계할 수 있다. 명령줄 실행, 플로우차트 논리,定时 태스크와 2차 개발을 지원한다.

Douyin과 TikTok용 오픈소스 자체 호스팅 데이터 API. 게시물, 프로필, 댓글, 플레이리스트 검색 및 무수퍼마크 비디오/이미지 다운로드 지원. 자동 복구 신분 풀, PostgreSQL 아카이빙, REST API/MCP/CLI/웹 콘솔 제공.

Lux는 Go로 작성된 빠르고 간단한 비디오 다운로드 CLI 도구입니다. YouTube, Bilibili, Instagram 등 다양한 사이트에서 영상, 플레이리스트, 이미지, 오디오를 다운로드 지원합니다.

Huginn은 이벤트를 모니터링하고 사용자를 대신해 작업을 수행하는 에이전트를 구축하여 온라인 작업을 자동화하는 셀프 호스팅 시스템입니다.

Firecrawl은 웹사이트를 LLM이 바로 사용할 수 있는 데이터로 변환하는 오픈소스 API 서비스로, 검색, 스크래핑, 크롤링, 사이트 매핑, 배치 스크래핑 및 AI 에이전트 엔드포인트를 제공합니다.

Crawlee는 HTTP 및 헤드리스 브라우저 크롤링, 자동 재시도, 프록시 회전, 데이터 저장을 지원하는 Python 웹 스크래핑 및 브라우저 자동화 라이브러리로, AI/LLM 애플리케이션용 크롤러 구축에 적합합니다.