easyspider

이취지(EasySpider)는 완전 무료인 시각적 브라우저 자동화 테스트, 데이터 수집 및 웹스크래핑 소프트웨어로, 그래픽 인터페이스를 채택해 코드를 작성하지 않아도 작업을 설계하고 실행할 수 있다. 사용자는 웹페이지에서 조작할 요소를 선택하고 안내 상자 단계별로 작업하면 작업을 설계할 수 있다. 또한 소프트웨어는 명령줄 방식으로 단독 실행도 가능하며 다른 시스템에 통합하기 용이하다. 주요 기능 및 사용 방식: - 시각적 요소 선택: 페이지 요소에서 우클릭으로 선택하면 소프트웨어가 자동으로 동일 유형의 요소를 감지하며, '모두 선택', '자식 요소 선택', '데이터 수집' 등의 작업을 지원해 정보를 필드별로 분류 저장한다. - 반복 및 상세페이지 수집: '모두 선택' 후 '각 요소 클릭하여 순환'을 선택하면 각 항목의 상세페이지를 자동으로 열고 상세페이지 내용 수집을 계속 설정할 수 있다. - 플로우차트식 작업 설계: 플로우차트 인터페이스를 제공하며, 반복, 조건 분기,下一页 클릭 순환 등 논리를 지원하고 일반 플로우차트로 변환해 확인할 수 있다. - 확장 작업: 텍스트 입력, 요소 텍스트 수집, 요소 및 웹페이지 스크린샷 촬영, OCR 인식(문자 검증번호에 주로 사용), 사용자 정의 JS 코드 및 시스템 코드 실행, 추출 값을 변수로 입력, Python 코드 연산 결과를 입력으로 사용, MySQL 데이터베이스 쓰기 등을 지원한다. - 실행 및 통합: 定时 태스크 실행, 병렬 다중 실행으로 여러 작업을 동시에 실행, IP 풀 및 터널 IP 전환을 지원하며, 명령줄 실행으로 다른 시스템에 통합할 수 있다. - 예제 및 문서: 저장소에 Examples 폴더가 제공되며, 이름 변경 후 tasks 디렉토리에 가져와 사용할 수 있다. 문서는 GitHub Wiki에 있으며, Bilibili와 YouTube에视频教程가 있다. 라이선스 및 준수: 소프트웨어는 AGPL-3.0 라이선스를 따르며, 개인과 기업 모두 소프트웨어 자체 또는 소스코드를 기반으로 한 2차 개발을 자유롭게 무료로 사용할 수 있다. 상업적 라이선스를 위해 저자와 연락할 필요가 없지만, 라이선스의 감염성, 네트워크를 사용한 오픈소스 의무, 소스코드 제공, 특허 허락 및 면책 조항을 준수해야 한다. 저자는该软件가 학습 및 교류용으로만 제공되며, 모든 불법 행위에는 절대 사용하지 말 것을 명시하고, 사용 결과는 사용자가 부담한다. 프로젝트 배경:该软件는 The Web Conference(WWW) 2023에 등재되었으며, 관련 성과로는 중국 국가 지식재산국 발명특허 '맞춤형 추출 프로세스 서비스封装 시스템'과 저장대학 석사논문 'WEB 응용을 향한 지능형 서비스封装 시스템 설계 및 구현'이 있다.