メインコンテンツへスキップ

Maps::Google::Reviews - Googleマップの口コミスクレイパー

スクレイパーの概要​

Googleマップのレビュースクレイパーです。Googleマップレビュースクレイパーは、Googleマップからレビューを迅速かつ自動的に取得することを可能にします。Maps::Google::Reviewsスクレイパーを使用することで、Googleマップからレビューのデータベースを自動的に収集できます。Maps::Google::Reviewsスクレイパーを利用すれば、Googleマップからレビューを簡単かつ迅速にスクレイピングできます。

A-Parserの機能により、Maps::Google::Reviewsスクレイパーのスクレイピング設定を将来の使用のために保存（プリセット）したり、スクレイピングのスケジュールを設定したりすることが可能です。

結果の保存は、内蔵された強力なテンプレートエンジン Template Toolkit により、必要な形式や構造で保存できます。これにより、結果に追加のロジックを適用したり、JSON、SQL、CSVを含む様々なフォーマットでデータを出力したりできます。

収集データ​

  • $totalcount — 場所の口コミ総数
  • $avgrating — 平均評価
  • 配列 $list (口コミ)
    • $list.$i.rating — 評価
    • $list.$i.text — テキスト
    • $list.$i.name — 投稿者名
    • $list.$i.date — 日付
    • $list.$i.url — リンク

機能​

  • クエリごとに収集する口コミの数を指定可能 (Max reviews count)
  • 収集エンジン: HTTP または Browser (Engine)

ユースケース​

  • 口コミの収集
  • 口コミ数と平均評価の取得

クエリ​

クエリには、cid を含む場所へのリンクを指定する必要があります。例:

https://maps.google.com/?cid=12262488876297357724

結果の出力例​

A-Parserは、内蔵されたテンプレートエンジン Template Toolkit により柔軟な結果フォーマットをサポートしており、任意の形式や、CSVやJSONなどの構造化された形式で結果を出力できます。

デフォルトの結果フォーマット:

$list.format('$name,$date,$url,$rating,$text\n')

設定可能な項目​

注記

すべてのスクレイパーに共通の設定

パラメータ名デフォルト値説明
Max reviews count20$list に格納するレビューの最大数
EngineHTTPHTTP — ブラウザなし。 Browser — ブラウザを使用
Max concurrent browser pages10スクレイパーが同時に開くことができる Chrome ページの数。スレッド数が多い場合に増やす際は注意してください。メモリと CPU の負荷が増大します
Browser tries on same proxy4Google がログインを要求する場合や「レビュー」タブがない場合に、同じプロキシで開く新しいブラウザページの数。その後、プロキシが変更されます。 0 — 最初のページのみで、同じプロキシでの再試行なし
Browser headless☑ウィンドウなしでブラウザを起動