عن المشروع
易采集(EasySpider)是一款完全免费的可视化浏览器自动化测试、数据采集与网页爬虫软件,采用图形化界面,无需编写代码即可设计和执行任务。用户只需在网页上选择想要操作的内容,并按提示框逐步操作,即可完成任设计。软件也可单独以命令行方式运行,便于嵌入其他系统。
主要能力与使用方式:
- 可视化元素选择:右键选中页面元素后,软件可自动检测同类型元素,支持"选中全部""选中子元素""采集数据"等操作,将信息按字段分别保存。
- 循环与详情页采集:选中全部后可选择"循环点击每个元素",自动打开每个条目的详情页,再继续设置采集详情页内容。
- 流程图式任务设计:提供流程图界面,支持循环、条件分支、循环点击下一页等逻辑,并可转换为常规流程图查看。
- 扩展操作:支持输入文字、采集元素文本、对元素和网页截图、OCR识别元素内容(常用于文字验证码)、执行自定义JS代码与系统代码、将提取值作为变量输入、Python代码运算结果作为输入、写入MySQL数据库等。
- 运行与集成:支持定时执行任务、并行多开同时执行多个任务、切换IP池与隧道IP,并可通过命令行执行以嵌入其他系统。
- 样例与文档:仓库提供Examples样例任务文件夹,可重命名后导入tasks目录使用;文档位于GitHub Wiki,并有B站与YouTube视频教程。
许可与合规:软件遵循AGPL-3.0协议,个人和企业均可免费使用软件本身或基于源代码进行二次开发,无需联系作者进行商业授权,但需遵守该协议的传染性、网络使用开源义务、源码提供、专利授权与免责条款。作者声明软件仅供学习交流,严禁用于任何违法违规操作,使用后果由使用者自负。
项目背景:该软件已被The Web Conference(WWW)2023收录,相关成果包括中国国家知识产权局发明专利"一种自定义提取流程的服务封装系统"以及浙江大学硕士论文《面向WEB应用的智能化服务封装系统设计与实现》。
Comments
0 Rating appears after 10 ratings
Sign in to join the discussion.