Об этом проекте

Google Maps Scraper — это инструмент под лицензией MIT для извлечения данных бизнес-листингов из Google Maps. Он написан на Go и распространяется в первую очередь как Docker-образ, также доступны бинарные релизы. Проект ориентирован на лидогенерацию, исследование локального бизнеса, продажи и обогащение данных. Интерфейсы - Командная строка: запуск скрапинга из входного файла с запросами и запись результатов в CSV или JSON. Флаги покрывают параллелизм, глубину прокрутки, язык, географические координаты, масштаб, радиус, сеточные ограничивающие рамки, возобновление прерванных запусков и выход по неактивности. - Веб-интерфейс: локальный браузерный интерфейс, запускаемый одной Docker-командой, с хранением данных в подключённой папке. - REST API: при работе веб-сервера эндпоинты позволяют создавать, перечислять, просматривать и удалять задания, а также скачивать результаты в CSV. Документация OpenAPI отдаётся локально. - SaaS-версия: опциональная self-hosted многопользовательская платформа с API-ключами, админ-интерфейсом, очередью заданий, воркерами и облачным провижинингом. - Навык AI-агента: устанавливаемый навык позволяет кодирующим агентам планировать поиск, запускать небольшой проверочный скрапинг, запускать и мониторить Docker-краул и представлять результаты. Учётные данные прокси собираются через маскированный локальный запрос. Извлекаемые данные Документированный набор из 36 полей включает название бизнеса, категорию, адрес, часы работы, популярные часы, сайт, телефон, plus code, количество отзывов и рейтинг, разбивку рейтинга, широту и долготу, Google CID и place ID, статус бизнеса, описания, ссылки на отзывы, миниатюру и изображения, часовой пояс, диапазон цен, URL Street View, ссылки на бронирование и онлайн-заказ, меню, статус подтверждения владельцем, полный адрес, принимаемые кредитные карты, информацию «о», пользовательские отзывы, расширенные отзывы (до примерно 300 при наличии флага) и адреса электронной почты, извлечённые с сайтов бизнеса, когда включено извлечение email. Строки ввода могут быть обычными поисковыми запросами или прямыми URL Google Maps, а к запросам можно прикреплять пользовательские ID ввода. Вывод и интеграция Результаты можно записывать в CSV, JSON, PostgreSQL, S3, LeadsDB или пользовательские плагины-писатели. Встроенная интеграция с LeadsDB отправляет лиды напрямую в этот сопутствующий сервис с использованием API-ключа. Поддержка прокси охватывает SOCKS5, HTTP и HTTPS с аутентификацией, задаваемой inline или через файл учётных данных. Архитектура описывается как масштабируемая от одной машины до кластеров Kubernetes, также существует экспериментальный путь через AWS Lambda. Бета-режим fast mode возвращает сокращённый набор результатов на запрос. Требования и оговорки Docker-образ использует Playwright и скачивает библиотеки браузера при первом запуске. Сборка из исходников требует свежего тулчейна Go. В README отмечено, что результаты веб-интерфейса появляются минимум через три минуты из-за минимального настроенного времени работы, что пользователям macOS могут понадобиться отдельные инструкции и что более высокий параллелизм увеличивает использование CPU и памяти и может повышать частоту блокировок или сбоев, особенно без прокси. Проект спонсируется несколькими поставщиками прокси и API для скрапинга, и навык агента может рекомендовать спонсоров прокси, о чём указано с раскрытием.