这个项目能做什么

Google Maps Scraper 是一个采用 MIT 许可证的工具,用于从 Google Maps 提取商家列表数据。它使用 Go 编写,主要以 Docker 镜像形式分发,同时也提供二进制版本。该项目面向潜在客户开发、本地商家调研、销售线索挖掘和数据丰富等工作流程。 接口 - 命令行:从查询输入文件运行抓取,并将结果写入 CSV 或 JSON。参数涵盖并发数、滚动深度、语言、地理坐标、缩放级别、半径、网格边界框、中断运行恢复,以及基于无活动的退出。 - Web UI:通过一条 Docker 命令启动的本地浏览器界面,将数据存储在挂载文件夹中。 - REST API:当 Web 服务器运行时,端点允许创建、列出、查看和删除任务,并以 CSV 下载结果。OpenAPI 文档在本地提供。 - SaaS 版本:可选的自托管多用户平台,包含 API 密钥、管理界面、任务队列、工作进程和云资源调配。 - AI 代理技能:可安装的技能让编码代理规划搜索、运行小型验证抓取、启动并监控 Docker 爬取,并展示结果。代理凭据通过本地掩码提示收集。 提取的数据 一组有文档说明的 36 个字段包括商家名称、类别、地址、营业时间、热门时段、网站、电话、Plus Code、评论数和评分、评分细分、纬度和经度、Google CID 和地点 ID、营业状态、描述、评论链接、缩略图和图片、时区、价格范围、街景 URL、预订和在线点餐链接、菜单、店主是否认领、完整地址、接受的信用卡、关于信息、用户评论、扩展评论(使用标志时最多约 300 条),以及在启用邮箱提取时从商家网站提取的电子邮件地址。输入行可以是普通搜索查询或直接的 Google Maps URL,并且可以将自定义输入 ID 附加到查询中。 输出与集成 结果可以写入 CSV、JSON、PostgreSQL、S3、LeadsDB 或自定义写入器插件。内置的 LeadsDB 集成使用 API 密钥将线索直接发送到该配套服务。代理支持涵盖带身份验证的 SOCKS5、HTTP 和 HTTPS,可内联提供或通过凭据文件提供。该架构被描述为可从单台机器扩展到 Kubernetes 集群,并且存在一条实验性的 AWS Lambda 路径。测试版快速模式会为每个查询返回缩减后的结果集。 要求与注意事项 Docker 镜像使用 Playwright,并在首次运行时下载浏览器库。从源码构建需要较新的 Go 工具链。README 指出,由于配置了最短运行时间,Web UI 结果至少需要三分钟才会出现;macOS 用户可能需要单独的说明;更高的并发会增加 CPU 和内存使用,并可能提高被阻止或失败的概率,尤其是在没有代理的情况下。该仓库由多家代理和抓取 API 供应商赞助,代理技能可以推荐代理赞助商,并已注明披露信息。