SE::Google - Google検索結果スクレイパー

スクレイパーの概要

Google検索結果のスクレイパーは最も需要の高いものの一つであり、これを利用することで、その後の利用に備えた膨大なリンクベースを取得できます。検索演算子（inurl、intitleなど）を含め、Googleで入力するのと全く同じ形式でクエリを使用できます。

Googleスクレイパーはクエリの自動増殖をサポートしており、検索結果から最大数の結果を確実に取得できます。また、A-Parserは指定された深さまで関連キーワードを自動的に辿ることができます。A-Parserのマルチスレッド動作により、処理速度は毎分 3000-7000 クエリに達し、平均して毎分最大 500,000 リンクを取得することが可能です。

A-Parserの機能により、スクレイピング設定を将来の利用のために保存（プリセット）したり、スクレイピングのスケジュールを設定したりすることが可能です。自動クエリ増殖、ファイルからのサブクエリの代入、英数字の組み合わせやリストの総当たりを使用して、可能な限り多くの結果を取得できます。

組み込みの強力なテンプレートエンジン Template Toolkit により、結果に必要なロジックを適用し、JSON、SQL、CSV を含む様々な形式でデータを出力するなど、必要な形式と構造で結果を保存できます。

オンラインデモへ A-Parser Proを購入 ($299)

スクレイパーのユースケース

🔗 ドメインスクレイピング

Googleからキーワードに基づいてテーマ別のドメインをスクレイピングし、ドメインに関する様々なパラメータを取得します

🔗 Googleニュースのスクレイピング

このプリセットは、検索クエリに基づいてGoogleニュースをスクレイピングし、それらのニュースの日付を収集します

🔗 インデックス登録の確認

指定されたリンクのリストを辿り、Googleにおけるウェブサイトのページのインデックス登録状況を確認するプリセットです

🔗 競合調査

キーワードに基づいてGoogle検索エンジンにおける競合性を判定するプリセットです

🔗 検索結果トップ3のスクレイピング

Google検索結果の最初のトップ3スニペットを保存するプリセットです

🔗 Q&A

People Also Askセクションから質問と回答を収集するスクレイパーです

収集データ

検索結果のリンク、アンカー、スニペット、およびスニペット内の日付（存在する場合）
- 各結果のフラグ情報も収集されます。現在サポートされているフラグ：Date, AMP, Image Preview, Video, Rich snippet, Featured snippet
広告ブロックの有無と内容、およびページ上の位置
クエリごとの結果件数（競合数）
関連キーワードのリスト (Related keywords)
ページ上の追加ブロックの有無：商品カルーセル、動画など
また、スクレイパーは以下の追加データも収集します：
- クエリ内のタイポ（誤字）の有無と修正されたクエリ
- Googleが判定したジオロケーション（地理的位置）
- AMPページの有無
- People also ask（他の人はこちらも質問）のリスト：質問、回答、ソースへのリンク、そのアンカー、およびメディアへのリンク（別オプション Parse People also ask で有効化）
- AIによる回答 (AI overview)、そのタイプ、およびソースのリスト

機能

Google検索エンジンスクレイパーは、多くの機能と設定を備えています：

すべてのGoogle 検索演算子 (site:, inurl: など) をサポート
検索結果サイズ (10, 20, 30, 50, 100件) および ページ数 (1〜10) の指定。最大設定時、Googleは1クエリあたり 300〜500件の結果 を返しますが、A-Parserはクエリ増殖によりこの制限を容易に回避します
関連キーワードを自動的に辿る機能
検索結果の言語と国 の指定、ローカルGoogleドメインの選択、および検索インターフェース言語の指定
ジオロケーション の指定が可能で、地球上のあらゆる場所の正確なローカル検索結果を取得可能
デスクトップ または モバイル 表示の選択
検索タイプの選択。通常のオーガニック検索結果の他に、ニュース、書籍、動画 の検索結果を収集可能
必要に応じて、認識サービスまたは XEvil/CapMonster を介した ReCaptcha2 の自動認識 を連携可能
検索期間 の指定をサポート（全期間、または24時間から1年までの特定の期間）
類似した結果を非表示にするGoogleのフィルタ (filter=) の無効化機能
指定したクエリで結果が見つからず、Googleが類似のクエリの結果を提案した場合にスクレイピングするかどうかの指定
各質問を深掘りして収集する People also ask の件数を指定可能
タグの収集機能

Googleスクレイパーをベースに、以下のスクレイパーが動作します：

SE::Google::Position - クエリリストに基づいて検索結果における任意のサイトの順位を判定します
SE::Google::Compromised - Googleの観点からドメインの安全性を確認し、ハッキングされたサイトやフィッシングサイトを特定できます
SE::Google::TrustCheck - サイトに対するGoogleのTrust（信頼度）を確認します

利用シーン

リンクベースの収集 - XRumer, AllSubmitter, GSA Rankerなど用
リンク、アンカー、スニペット、広告ブロック、その他の情報を含むSERPの完全なダンプ。SEO担当者やマーケターによる深い分析を可能にします
キーワードの競合評価
PPC（広告）検索結果の競合評価
バックリンクやサイトの言及の検索
サイトのインデックス状況の確認
脆弱性のあるサイトの検索
無制限のクエリ数で検索結果を取得する必要があるあらゆるケース

クエリ

クエリには、Googleの検索フォームに直接入力する場合と同じように、検索フレーズを指定する必要があります。例：

車 購入
窓 東京
site:https://lenta.ru
inurl:guestbook

クエリの代入

クエリを増殖させるために組み込みマクロを使用できます。例えば、非常に大きなフォーラムのデータベースを取得したい場合、異なる言語でいくつかのメインクエリを指定します：

forum
フォーラム
foro
论坛

クエリ形式で a から zzzz までの文字の総当たりを指定します。この方法は検索結果を最大限にローテーションさせ、多くの新しいユニークな結果を得るのに役立ちます：

$query {az:a:zzzz}

このマクロは、元の各検索クエリに対して 475254 個の追加クエリを作成し、合計で 4 x 475254 = 1901016 個の検索クエリになります。印象的な数字ですが、A-Parserにとっては全く問題ありません。毎分 2000 クエリの速度であれば、このタスクはわずか 16 時間で処理されます。

演算子の使用

クエリ形式で検索演算子を使用できます。これにより、リスト内の各クエリに自動的に追加されます：

inurl:$query

結果の出力例

A-Parserは組み込みのテンプレートエンジン Template Toolkit により柔軟な結果フォーマットをサポートしており、任意の形式や、CSVやJSONなどの構造化された形式で結果を出力できます。

リンク一覧のエクスポート

結果フォーマット：

$serp.format('$link\n')

結果の例：

https://www.weforum.org/open-forum/
https://www.weforum.org/about/world-economic-forum/
https://www.merriam-webster.com/dictionary/forum
https://en.wikipedia.org/wiki/Forum
https://dictionary.cambridge.org/dictionary/english/forum
https://www.collinsdictionary.com/dictionary/english/forum
https://www.linkedin.com/company/world-economic-forum
https://docs.moodle.org/en/Forum_activity
https://wordpress.org/support/forums/
https://www.facebook.com/worldeconomicforum/
...

リンク + アンカー + スニペット（順位付き）

結果フォーマット：

[% FOREACH item IN serp;    loop.count _ ' - ' _ item.link _ ' - ' _ item.anchor _ ' - ' _ item.snippet _ "\n"; END %]

結果の例：

- https://ru.wikipedia.org/wiki/%D0%A4%D0%BE%D1%80%D1%83%D0%BC - フォーラム — Wikipedia - <em>Fórum</em> (lat. forum — arch. 墓の入り口、ブドウ処理用の圧搾機のプラットフォーム、市場の広場、都市の市場;&nbsp;...
- https://ru.wikipedia.org/wiki/%D0%A4%D0%BE%D1%80%D1%83%D0%BC_(%D0%BC%D0%B5%D1%80%D0%BE%D0%BF%D1%80%D0%B8%D1%8F%D1%82%D0%B8%D0%B5) - フォーラム（イベント） — Wikipedia - <em>フォーラム</em> — 何らかの十分にグローバルな問題を特定または解決するために開催されるイベント。この概念は以下で見られます<wbr>十分にグローバルな問題。この概念は以下で見られます&nbsp;...
- https://support.google.com/googleplay/community?hl=ru - コミュニティヘルプフォーラムへようこそ ... - コミュニティヘルプ <em>フォーラム</em> Google Playコミュニティへようこそ。注目の投稿。すべての興味深い投稿を表示 &middot; ゲームで助けが必要ですか？
- https://support.google.com/mail/community?hl=en - Gmail Community - Google Support - Welcome to the Gmail Help Community &middot; Featured posts &middot; Categories.
- https://www.weforum.org/ - The World Economic Forum - The World Economic Forum is an independent international organization committed to improving the state of the world by engaging business, political, academic&nbsp;...
- https://www.kunena.org/ - Home - Kunena - To Speak! Next Generation Forum ... - Kunena! - To Speak! Next Generation Forum Component for Joomla.
- https://forum.adguard.com/index.php - AdGuard Forum - <em>フォーラム</em> ベータテスター。ベータ版のバグ報告はこちら。スレッド: 355。メッセージ: 11.6K。サブフォーラム: ベータ版リリースへのコメント&nbsp;...
- https://www.sofiaforum.bg/ - ソフィア・セキュリティ・フォーラム：議論のためのプラットフォーム ... - ソフィア <em>フォーラム</em> セキュリティ / Sofia Security Forum。
- https://forum.keenetic.net/ - Forums - Keenetic Community - Keenetic fan club. A place to meet software developers, get the latest updates, and share experience.
- https://forum.euroaion.com/ - Perfect quality European private server of Aion - EuroAion.com - Perfect quality European private server of Aion!
...

リンク、アンカー、スニペットをCSVテーブルに出力

組み込みユーティリティ $tools.CSVLine を使用すると、ExcelやGoogleスプレッドシートにインポート可能な正しい形式のテーブルドキュメントを作成できます。

全体の結果フォーマット：

[%  FOREACH i IN p1.serp;    tools.CSVline(i.link, i.anchor, i.snippet); END  %]

ファイル名：

$datefile.format().csv

開始テキスト：

リンク,アンカー,スニペット

結果の例：

リンク,アンカー,スニペット
https://ru.wikipedia.org/wiki/%D0%A4%D0%BE%D1%80%D1%83%D0%BC,"フォーラム — Wikipedia",
https://en.wikipedia.org/wiki/Forum,"Forum - Wikipedia","<em>Forum</em> (plural forums or fora) may refer to: Contents. 1 Common uses; 2 Places. 2.1 Natural features; 2.2 Populated places. 3 Arts and entertainment; 4 Media."
https://www.weforum.org/,"The World Economic Forum","The World Economic <em>Forum</em> is an independent international organization committed to improving the state of the world by engaging business, political, academic&nbsp;..."
https://support.google.com/webmasters/community?hl=ru,"コミュニティヘルプフォーラムへようこそ ...","Google検索センターコミュニティヘルプ <em>フォーラム</em> へようこそ。注目の投稿。すべての興味深い投稿を表示 &middot; への回答&nbsp;..."
https://support.google.com/chrome/community?hl=ru,"コミュニティヘルプフォーラムへようこそ ...","Google Chromeコミュニティヘルプ <em>フォーラム</em> へようこそ。注目&nbsp;..."
...

ヒント

結果の全体フォーマットでは、FOREACH ループ内で $serp 配列を出力するために Template Toolkit テンプレートエンジンが使用されます。

結果のファイル名では、ファイルの拡張子を csv に変更するだけです。

タスクエディタで「Prepend text」オプションを表示するには、「More options」を有効にする必要があります。「Prepend text」にカンマ区切りで列名を記入し、2行目を空行にします。

広告ブロックの出力

結果フォーマット：

$ads.format('$link - $anchor - $snippet\n')

結果の例：

https://www.rentalcars.com/ - Rent a Car Worldwide - Best Prices Online Guaranteed - Secure Your <em>Car Hire</em> Today. The Best Price Guaranteed. Book at Over 53,000 Locations. Search, Compare and Save Using the World's Biggest Online <em>Car Rental</em> Service.
https://www.kayak.com/United-States-Car-Rentals.253.crc.html - United States from $9/day - Search for Rental Cars on Kayak - Find and Compare Great <em>Car</em> Deals in USA. Book with Confidence on KAYAK®!
https://www.discovercars.com/ - -70% Worldwide Car Rental - Rent Your Car in 5 Minutes‎ - <em>Car rental</em> prices are rising, but if you act fast, you can get a good deal. Don’t stress! We...
https://www.economybookings.com/ - Rent a Car for Summer Holidays - Car Rentals for the Best Price - Theft protection and Third Party liability part of a great deal. Free Mileage included.
...

結果フォーマット：

$related.format('$key\n')

結果の例：

test <b>speed</b>
<b>net speed</b> test
<b>google speed</b> test
<b>fast speed</b> test
<b>ping</b> test
<b>xfinity speed</b> test
<b>speed</b> test <b>mobile</b>
test <b>my</b>
...

ヒント

結果からHTMLタグを自動的に削除するには、結果ビルダーを使用し、配列 $related を選択して Remove HTML tags を適用します。

キーワードの競合数

結果フォーマット：

$query - $totalcount\n

結果の例：

speed test mobile - 1080000000
test score - 4020000000
net speed test - 1210000000
fast speed test - 2150000000
speed test - 2500000000
test match - 4160000000
ping test - 425000000
google speed test - 1870000000

誤字のあるキーワードの特定

結果フォーマット：

$query - $misspell\n

結果の例：

spead test - 1
test match - 0
speed test - 0
temst match - 1

リンクのインデックス確認

クエリ形式：

site:$query

結果フォーマット：

$query.orig - $totalcount\n

結果の例：

https://a-parser.com/pages/buy - 2
https://a-parser.com/wiki/parsers - 4
https://a-parser.com/resources - 883
https://trjkjfkdf.bg.ky - none
https://a-parser.com/forum - 371

ヒント

リンクのインデックスを確認するには、クエリ形式に対応する演算子 site: を代入します。

結果フォーマットは「元のURL - インデックス内のページ数」の形式で出力されます。

結果として、ページのURLと検索エンジンのインデックス内の件数が得られます。

ページが存在しない場合、結果は none になります。

SQL形式での保存

結果フォーマット：

[%  FOREACH serp;   "INSERT INTO serp VALUES('" _ query _ "', '";   link _ "', '";  anchor _ "')\n"; END  %]

結果の例：

INSERT INTO serp VALUES('test', 'https://www.speedtest.net/', 'Speedtest by Ookla - The Global Broadband Speed Test')
INSERT INTO serp VALUES('test', 'https://fast.com/', 'Fast.com: Internet Speed Test')
INSERT INTO serp VALUES('test', 'https://www.business-standard.com/article/sports/ind-vs-aus-live-score-4th-day-5-india-vs-australia-live-cricket-score-online-brisbane-weather-121011900103_1.html', 'IND vs AUS 4th Test highlights: India creates history, wins ...')
INSERT INTO serp VALUES('test', 'https://www.test.com/', 'Find online tests, practice test, and test creation software | Test ...')
INSERT INTO serp VALUES('test', 'https://www.espncricinfo.com/series/india-in-australia-2020-21-1223867/australia-vs-india-4th-test-1223872/match-report-4', 'Recent Match Report - Australia vs India 4th Test 2020 ...')
INSERT INTO serp VALUES('test', 'https://www.icc-cricket.com/world-test-championship/standings', 'World Test Championship (2019-2021) Points Table - Live ...')
INSERT INTO serp VALUES('test', 'https://www.icc-cricket.com/rankings/mens/team-rankings/test', 'ICC Test Match Team Rankings International Cricket Council')
INSERT INTO serp VALUES('test', 'https://projectstream.google.com/speedtest', 'Speedtest - Google')
INSERT INTO serp VALUES('test', 'https://www.google.com/search?hl=en&q=Software+Testing&stick=H4sIAAAAAAAAAONgecQ4g5Fb4OWPe8JSfYyT1py8xtjOyMUVnJFf7ppXkllSKaTCxQZlSXHxSHHo5-obmJul5GkwSHFxwXlKwUbuuy5NO8fmKMgABGJm_g5SmlpCXOyexT75yYk5ggpvuB68mfLeXkuYiyMksSI_Lz-3UtCBgcHhx__39kqcnEBND7aoddhrMTTtW3GIjYWDUYCBZxGrQHB-Wkl5YlGqQkhqcUlmXjoAS5B1P7EAAAA&sa=X&ved=2ahUKEwiW-rnmlajuAhWpAGMBHR-JAv4Q6RMwHXoECDQQBQ', '')
...

結果をJSONにダンプ

共通結果形式:

[% IF notFirst;
  ",\n";
ELSE;
  notFirst = 1;
END;

obj = {};
obj.totalcount = p1.totalcount;
obj.links = [];

FOREACH item IN p1.serp;
    obj.links.push(item.link);
END;

obj.json %]

開始テキスト:

終了テキスト:

結果の例：

[{"totalcount":"6450000000","links":["https://www.speedtest.net/","https://fast.com/","https://projectstream.google.com/speedtest","https://www.test.com/","https://www.speakeasy.net/speedtest/","https://www.att.com/support/speedtest/","https://speedtest.xfinity.com/","https://developers.google.com/speed/pagespeed/insights/","https://www.espncricinfo.com/series/india-in-australia-2020-21-1223867/australia-vs-india-4th-test-1223872/match-report-4","https://nasional.tempo.co/read/1424570/listyo-sigit-temui-ahy-menjelang-fit-and-profer-test-calon-kapolri","https://www.google.com/search?hl=en&q=Test+Assessment&stick=H4sIAAAAAAAAAONgecRYyC3w8sc9YamMSWtOXmNM4uIKzsgvd80rySypFNLiYoOyFLj4pbj10_UNjQyzKsvyzDQYpHi5kAWUNIxkdl2ado5NTJABCMTKAhyUODmBLIVA-wX2WgxN-1YcYmPhYBRg4FnEyh-SWlyi4FhcnFpcnJuaVwIAwEAP9ogAAAA&sa=X&ved=2ahUKEwj17MzXmajuAhW8CWMBHRlzBP4Q6RMwDHoECBEQBQ"]}]

ヒント

タスクエディタで「Prepend text」と「Append text」オプションを表示するには、「More options」を有効にする必要があります。

結果の処理

A-Parserではスクレイピング中に直接結果を処理できます。このセクションでは、Googleスクレイパーの最も一般的なケースを紹介します。

リンクの重複排除

重複排除を追加し、ドロップダウンリストから $serp.$i.link - Link を選択します。

例をダウンロード

A-Parserへの例のインポート方法

eJx9VE1v2zAM/SsFkcMGBEFy2MW3NFiKDVnTNekpyEGNaUOLLGmSnDUw/N9H+ktO
N/Rmko+PfCTlCoLwZ//k0GPwkBwqsM03JLD7miQPxuQK7zZSn/3di5a/S4QpWOE8
OoYfRigKpJiJUgWYVhCuFonEXNA5mXJQpmRbZ96uDoOT6Ml3Eapk2GI+n0P9QZrI
8WRKHWLO4gO44n4tOk4bZcxHKWUvhuRyy8kBSJMlByfDcdoh9i3cU8c6h977oMyr
UJAEV2J9PPYsfm1cIXh4E7uYdZMcgjtxwb2hYCZVrOzXZD2KgqtMUhGQo7OsIfr0
eRbemEGkqQzSaKHaCjz7WLVbTALaEJY+ebprZwpyBWwI2HntuzvApLGjyp9tDiSZ
UB6n4KnVtaBG0vcRGdCJYNzWcj/kr8DopVIbvKCKsIb/vpQqpUNZZpT0rUv8P2T7
D0c9yBuXokX/cdTDwNJY99sfMSs1G5OT8vS1WWYhA9l+1VxPAnNynhHtMLNHnllh
HA5lOuauOr0Ni5qvKq5saaPrRsbNWm6dJ6MzmW+7S+2Rpd7TA9zqlSmsQtalS6Vo
LR6f43ksfbcGNmKD75NXTQmW3r9DCMYo/33XtmqdpPP7wg0WNMlx1Y7yJJR6ed6M
IxBPqjknz7QnutPc0AWRivo4/BGG/0g1/i8kVU1r+eWfWhBrYAj5aBieZs6P+S/t
6pW4

ヒント

こちらも参照：結果の重複排除

ドメインによるリンクの重複排除

重複排除を追加し、ドロップダウンリストから $serp.$i.link - Link を選択します。重複排除タイプとして Domain を選択します。

例をダウンロード

A-Parserへの例のインポート方法

eJx9VE2P2jAQ/SvI4tBKaAWHXnJj6bJqRZftwp4QB0MmyMXxuLZDF0X89844IQ7b
am+ZmffefDq1CNIf/bMDD8GLbFMLG79FJlYPWfaIeNAwWChz9INXo35XMNidB1+x
lMqIkbDSeXBM3PTwFMihkJUOYlSLcLZAcngC51TOQZWTbR2+nR0Ep8CT7yR1xbDJ
eDwWlw9o8gB7rExInMkHcM2VW3BM6zHGPUoV26IgNc4lZxtBPVlyMFlsRy1i3cDz
a++N91HjTmqRBVfBZbu9qvg5ulLyGId2ctfOtAuu5AnWSMFC6ZTZz8l6kiVnGeYy
AEfviij06fNdeGMFmecqKDRSNxl49ilrsyLiGyQsffJ05w5LcgWIAuw8X6vbiGG0
U5c/G47ICqk9jISnUueSCsnfR1QAJwO6peV6yF8LNFOtF3ACnWBR/75SOqdDmRZE
+tYS/w9Z/qNx6drrp6JF/3FUQ6cSrfvlj8TKcYEHXtkuLrNUgWw/i9eTiTE5jwC2
m9kTz6xEB12aVrnNTq/EguGrSiub2uS6aeNmLbfOPZpCHZbtpV6RlVnTU1yaGZZW
A/dlKq1pLR5e0nlMfbsGNlKB78mzmIJbv75DERC1/75qSrVO0fl94QJLmmQ/ayu5
l1q/viz6EZFOKp6TZ9k93ekB6YKoi8u2+yN0f5S6/1/I6gut5Zd/bkDcA0PIR8Pw
NHN+zH8BRVyZDA==

ヒント

こちらも参照：結果の重複排除

ドメインの抽出

Result Builders (結果ビルダー)を追加し、ドロップダウンリストからソース：$p1.serp.$i.link - Link を選択します。タイプ：Extract Domain を選択します。

例をダウンロード

A-Parserへの例のインポート方法

eJx9VE1v2zAM/SuFkMMGBIFz2MW3NGuGDVnTNe0p6EGzaUOLLGqSnCUw8t9HKort
dkNv5scj+cgndyJIv/cPDjwEL/JdJ2z8FrnY3uX5F8Raw83dMThZhJvP2EhlxFRY
6Tw4BuxGeRQooZKtDmLaiXCyQGXwAM6pkoOqJNs6PJ4cBKfAk+8gdctp8yzLxPkd
mKyhwNaEATN/J10rs/cWHMNGiOz88jIVxJBm9Ct0jWSmEzufJdp9cCsP8IQUrFQk
dsWQdS8bbjkpZQCOzqpY6MPHWThyBVmWKig0Ul868JqGrs9G/Y6MDVIuffIiVg4b
cgWIBdh5uk63E5NoCyrRRuyPC0bkldQepsLTqCtJg5RvIyqAkwHdxvI85O8EmoXW
aziAHtJi/dtW6ZJuuqgI9DUB/5+y+afGuac3bkU3+eNohr5KtG433wdUiWusiXn5
k3hr1ahAtl/GQ+ciI+cewPY7u+edNeigb5Mqp+4kZAuGBTCcbGEH1ysar84ycnbC
Y+sK6rfLpjtBQrdxOLMXrJ6kOLi8if5JSOfkifwpPWBSoTgTpkBTqXqTRHrt3Jon
en0bs8TGauA9mVZrOrOHx0FuC5/OysZA+C14GVvwKq9PkGZA7b9tL9StUzTSJybc
0GXGXVPJQmr9/LgeR8Qg0ShPz2UL0n2NpEhiweTSz6D/iXTjX0LenenMv/zDJYk5
cAr5aBmebsjv+C86oZM/

ヒント

こちらも参照：結果ビルダー

アンカーとスニペットからのタグ削除

Result Builders (結果ビルダー)を追加し、ドロップダウンリストからソース：$p1.serp.$i.anchor - Anchor を選択します。タイプ：Remove HTML tags を選択します。

再度 Result Builders (結果ビルダー)を追加し、ドロップダウンリストからソース：$p1.serp.$i.snippet - Snippet を選択します。タイプ：Remove HTML tags を選択します。

例をダウンロード

A-Parserへの例のインポート方法

eJyVVD1v2zAQ/SsC4aEFBEMeumhzjLpp4cSp7UxGBlY6qawpkiUpN4bg/947mpaU
NAjQjby79+7rkR3z3B3cgwUH3rF83zETzixn2895/kXrWkKygUYfIbnd3a0Sz2uX
VFY3yVwVP7V1CVdlslXCGKJImeHWgSWy/YgDHSVUvJWepR3zJwOYAkmtFSU5RYl3
Y/XzyYK3AojpyGVLYbMsy9j5HRivodCt8gNm9k64FOrgDFiCjRDZ+ekpZdg91uiW
2jacpjAxs2kcSe/c8iPsNDorERq7YvB2zxtKOSm5B/JOq0D04ePUPxMDL0vhhVZc
XjLQmIasj0r8Dh0rjbF4pEEscdZo8hAIyHi6Vrdnk3BnSNEG7PcLhuUVlw5S5rDU
JcdCytce4cFyr+3aUD1o75hWcylXcAQ5hAX+m1bIEnc6rxD0NQLfDln/w3Hu2xun
wp38sVhDzxJuN+u7AVXqla6x8/IH9i1FIzze3SIsOmcZGg8App/ZPc2s0Rb6NJE5
ZkeRG1AkgGFlczOYXrTxYi0jY8ecbm2B+fZZumcodENbDS+BkX6i5mx4Mbe+keS2
lp/QGKM9SSdCSKZvMbrLe/ovyivmjJhCq0rU66j8azut2uFzX6uFbowEGr5qpUTt
ONgMGp67qBW6DFN8DV6EFLSf67vGMrR037aXeRorsKpPaSx8nDVSFlzKx81q7GGD
7oPmHdEW+JhqjTLHLqi5+MP0v1Y3/mfy7oza+eUeLkHUA4WgDYfhUBj0OfwFH/O5
UQ==

ヒント

結果ビルダーは必要な数だけ追加できます。

こちらも参照：結果ビルダー

含有によるリンクのフィルタリング

フィルタを追加し、ドロップダウンリストから $serp.$i.link - Link を選択します。タイプ：Contain stringを選択します。次に、String (文字列)にフィルタリングの条件を入力します。

例をダウンロード

A-Parserへの例のインポート方法

eJx9VE1v2kAQ/StoxSGVEIJDL74RVKpWNKSBnBCHDR5bG9Y72901DbL83zuzNrZJ
qtw8H+/Nm491JYL0J//owEPwItlXwsZvkYjttyT5jphrGK2UDuCUyUcvl5EP8UuZ
kVbmJCbCSufBMXo/AFEghUyWOohJJcLFAnHiGZxTKQdVSrZ1+HZxQIzgyXeWuuS0
+Ww2E/UnMJnDEUsTesz8k3TW6S04hg0QswEkix1SkLpnycleUE+WHLHJw6TN2DXp
RzRBKjOQPD1iQSbaoNCQ7cF4UR8OV0a/QldInuvYzqftkLvgVp5hh40O6N00d3iQ
BfOPUxmAo9MsEt19mYY3ZpBpqrim1E0F3kNf9dmoP1GfQcqlT570ypHWRASIBOy8
XNXtxTja3HEZsb8bjEgyqT1MhCepK0lC0vcRRfORAd0mzoD8lUCz0HoNZ9B9WuS/
L5VO6WgWGYF+tMD/p2w+cNRde8NStPS/jjR0LNG63/zqUSmuMafO05e42EIFsv0y
XlIiZuQ8AdhuZg88swIddGVa5rY6PRsLhi+sX9nC9q6bNm7Wcuuka8pUvmmv9ppZ
mh29zY1ZYmE1cF+m1JrW4uGpP4+Fb9fARi/wPXgZS3Dr1zcpAqL2P7eNVOsUnd9X
FljQJIdVW8qj1Pr5aT2MiP6k4jl5pj3SneZIF0Rd1Ifu79D9YqrhPyKpalrLq39s
krgHTiEfDcPHlzSv/wHtZp3U

ヒント

こちらも参照：結果のフィルタ

可能な設定

注記

全スクレイパー共通の設定

地域パラメータ

Google domain - 使用するGoogleドメイン。デフォルトは google.com
Results language - 指定した言語のページを検索。ブラウザの「詳細検索」->「追加設定」->「言語」(urlパラメータ lr) に対応します。デフォルトは未設定で、IPに基づき自動判定されます
スポイラー: スクリーンショット
Interface language - Google製品の言語。ブラウザの「言語」->「表示言語」(urlパラメータ hl) に対応します。デフォルトは英語が選択されています
スポイラー: スクリーンショット
Search from country - 検索地域の選択。ブラウザの「言語」->「現在の地域」(urlパラメータ gl) に対応します。デフォルトは未設定で、IPに基づき自動判定されます
スポイラー: スクリーンショット
Narrow results by region - 特定の国で作成されたページを検索。ブラウザの「詳細検索」->「追加設定」->「地域」(urlパラメータ cr) に対応します。デフォルトは未設定で、このオプションは無効です
スポイラー: スクリーンショット
Location (city) - 正確な検索場所。ブラウザではユーザーの位置情報に基づき自動決定されます。デフォルトは未設定で、リクエストのIPに基づき自動判定されます
スポイラー: スクリーンショット

すべての地域パラメータは、程度の差こそあれ検索結果に影響を与えます。

パラメータ名	デフォルト値	説明
Device	`Desktop`	デスクトップまたはモバイルの検索結果の選択：Desktop / Mobile
Pages count	`5`	スクレイピングするページ数（1〜100）
Parse pages links from first page	`☑`	検索結果の最初のページから、利用可能なすべてのページネーションリンクを収集します。Device: `Desktop` の場合のみ有効で、モバイル検索結果には適用されません
Serp type	`Default (All)`	メインページ、ニュース、またはブログ（Books, News, Videos）からスクレイピングするかを決定します
Hide omitted results	`☑`	省略された結果を非表示にするかどうかを決定します（パラメータ filter=）
Serp time	`Anytime`	検索結果の期間（時間指定検索、パラメータ tbs=、指定可能な値：Past 1 hour, Past 24 hours, Past week, Past month, Past year）
Parse not found	`☑`	指定したクエリで結果が見つからず、Googleが別のクエリの結果を提案した場合にスクレイピングするかどうかを決定します
Disable autocorrect	`☐`	Googleの自動修正を無効にし、指定した通りのクエリでスクレイピングすることを可能にします
Exact match	`☐`	検索エンジンの「Exact match」オプションに対応します。注意：このオプションは `Serp time` パラメータの値を上書きします（ブラウザでの動作と同様）。
Safe search	`Blur`	「Safe search」を有効にする機能
Google domain	`www.google.com`	スクレイピングに使用するGoogleドメイン。すべてのドメイン（www.google.ac, www.google.com.af, www.google.co.ck など）をサポート
Narrow results by region	`Any region`	検索を特定の国に絞り込む機能
Results language	`Auto (Based on IP)`	検索結果の言語の選択（パラメータ lr=）
Search from country	`Auto (Based on IP)`	検索を実行する国の選択（地域依存検索、パラメータ gl=）
Interface language	`English`	スクレイパーとブラウザの結果を最大限一致させるための、Googleインターフェース言語の選択機能
Location (city)		都市や地域による検索。novosibirsk, russia のような形式で都市を指定できます。場所の完全なリストは Geotargets で確認できます（コピー - Canonical Name 列の値を使用してください）。また、正しいGoogleドメインを設定する必要があります
Util::ReCaptcha2 preset	`default`	ReCaptcha回避のために Util::ReCaptcha2 を使用するかどうかを決定します
Util::AntiGate preset	`default`	画像キャプチャ回避のために Util::AntiGate を使用するかどうかを決定します
ReCaptcha2 retries	`3`	プロキシを変更せずに、指定された回数だけReCaptchaの回答送信を試行します
ReCaptcha2 pass proxy	`☐`	Googleへのリクエストに使用したプロキシと、Googleからのレスポンスで取得したクッキーをReCaptcha認識サービスに転送することを可能にします
Use sessions	`☑`	良好なセッションを保存し、より高速にスクレイピングを行い、エラーを減らすことを可能にします
Don't take session	`☐`	保存された良好なセッションを使用しない機能
Additional headers		任意のカスタムヘッダーを指定可能
PAA questions count	`0`	各クエリに対してスクレイパーが収集すべき質問と回答 (People also ask) の最大数
Empty totalcount is error	`☐`	このパラメータを有効にすると、`$totalcount` の値がない場合にクエリが失敗とみなされ、再試行が行われます
Count of retries when result is empty	`10`	検索結果ページが完全に空の場合のクエリ再試行回数
Redirect browser max pages	`10`	JavaScript有効チェックなどの保護を回避するために使用されるブラウザのページ数
Single redirect browser for task	`☑`	タスクに複数のGoogleスクレイパーが指定されている場合、すべてのサブタスクで1つのブラウザのみを使用します。最大ページ数やその他の設定は、タスク内の最初のGoogleスクレイパーから取得されます

スクレイパーの概要​

スクレイパーのユースケース​

🔗 ドメインスクレイピング

🔗 Googleニュースのスクレイピング

🔗 インデックス登録の確認

🔗 競合調査

🔗 検索結果トップ3のスクレイピング

🔗 Q&A

収集データ​

機能​

利用シーン​

クエリ​

クエリの代入​

演算子の使用​

結果の出力例​

リンク一覧のエクスポート​

リンク + アンカー + スニペット（順位付き）​

リンク、アンカー、スニペットをCSVテーブルに出力​

広告ブロックの出力​

関連キーワードの保存​

キーワードの競合数​

誤字のあるキーワードの特定​

リンクのインデックス確認​

SQL形式での保存​

結果をJSONにダンプ​

結果の処理​

リンクの重複排除​

ドメインによるリンクの重複排除​

ドメインの抽出​

アンカーとスニペットからのタグ削除​

含有によるリンクのフィルタリング​

可能な設定​

地域パラメータ​

スクレイパーの概要

スクレイパーのユースケース

収集データ

機能

利用シーン

クエリ

クエリの代入

演算子の使用

結果の出力例

リンク一覧のエクスポート

リンク + アンカー + スニペット（順位付き）

リンク、アンカー、スニペットをCSVテーブルに出力

広告ブロックの出力

関連キーワードの保存

キーワードの競合数

誤字のあるキーワードの特定

リンクのインデックス確認

SQL形式での保存

結果をJSONにダンプ

結果の処理

リンクの重複排除

ドメインによるリンクの重複排除

ドメインの抽出

アンカーとスニペットからのタグ削除

含有によるリンクのフィルタリング

可能な設定

地域パラメータ