google-maps-scraper

Google Maps Scraperは、Googleマップからビジネスリスティングデータを抽出するためのMITライセンスのツールです。Goで書かれており、主にDockerイメージとして配布されていますが、バイナリリリースも利用可能です。このプロジェクトは、リードジェネレーション、ローカルビジネスリサーチ、営業プロスペクティング、データエンリッチメントのワークフローを対象としています。 インターフェース - コマンドライン: クエリの入力ファイルからスクレイピングを実行し、結果をCSVまたはJSONに書き込みます。フラグは、並行性、スクロール深度、言語、地理座標、ズーム、半径、グリッド境界ボックス、中断された実行の再開、非アクティブベースの終了をカバーします。 - Web UI: 単一のDockerコマンドで起動するローカルブラウザインターフェースで、データはマウントされたフォルダに保存されます。 - REST API: Webサーバーが実行されている場合、エンドポイントによりジョブの作成、一覧表示、検査、削除、およびCSVとしての結果ダウンロードが可能です。OpenAPIドキュメントはローカルで提供されます。 - SaaS版: APIキー、管理UI、ジョブキュー、ワーカー、クラウドプロビジョニングを備えたオプションの自己ホスト型マルチユーザープラットフォームです。 - AIエージェントスキル: インストール可能なスキルにより、コーディングエージェントが検索を計画し、小さな検証スクレイプを実行し、Dockerクロールを起動して監視し、結果を提示できます。プロキシ認証情報は、マスクされたローカルプロンプトを通じて収集されます。 抽出データ 文書化された36フィールドのセットには、ビジネス名、カテゴリ、住所、営業時間、混雑時間、ウェブサイト、電話番号、プラスコード、レビュー数と評価、評価の内訳、緯度と経度、Google CIDとプレイスID、ビジネスステータス、説明、レビューリンク、サムネイルと画像、タイムゾーン、価格帯、ストリートビューURL、予約およびオンライン注文リンク、メニュー、オーナー申請済みステータス、完全な住所、利用可能なクレジットカード、概要情報、ユーザーレビュー、拡張レビュー（フラグ付きで約300件まで）、およびメール抽出が有効な場合にビジネスウェブサイトから抽出されたメールアドレスが含まれます。入力行は、プレーンな検索クエリまたは直接のGoogleマップURLのいずれかであり、カスタム入力IDをクエリに添付できます。 出力と統合 結果は、CSV、JSON、PostgreSQL、S3、LeadsDB、またはカスタムライタープラグインに書き込むことができます。組み込みのLeadsDB統合により、APIキーを使用してリードをそのコンパニオンサービスに直接送信できます。プロキシサポートは、SOCKS5、HTTP、HTTPSを認証付きでカバーし、インラインまたは資格情報ファイルを介して提供されます。アーキテクチャは、単一マシンからKubernetesクラスターまでスケールすると説明されており、実験的なAWS Lambdaパスも存在します。ベータ版の高速モードは、クエリごとに削減された結果セットを返します。 要件と注意点 DockerイメージはPlaywrightを使用し、初回実行時にブラウザライブラリをダウンロードします。ソースからビルドするには、最近のGoツールチェーンが必要です。READMEには、Web UIの結果が最小構成ランタイムのために表示されるまでに少なくとも3分かかること、macOSユーザーは別の手順が必要な場合があること、および並行性を高めるとCPUとメモリ使用量が増加し、特にプロキシなしではブロッキングまたは失敗率が上昇する可能性があることが記載されています。このリポジトリは複数のプロキシおよびスクレイピングAPIベンダーによってスポンサーされており、エージェントスキルはプロキシスポンサーを推奨でき、開示が記載されています。