FreeAI::GoogleAI - Google AI mode スクレイパー
スクレイパーの概要
Google AI mode スクレイパーは、Googleの Gemini をベースに動作する、主要なAIシステムの一つから構造化された情報を収集するための強力なツールです。Google AI modeとの統合により、単なるリンクのリストではなく、学術論文、ブログ、フォーラム、ニュースポータルを含む膨大なソースに基づいた、最新で簡潔かつ関連性の高い回答を得ることができます。
Google AI mode スクレイパーは、詳細な質問、文脈に応じた質問、入れ子構造を含む 自然言語クエリ をサポートしています。マルチスレッドモードにより、処理速度は 毎分800～1500クエリ に達します。構成や使用するプリセットに応じて、数分以内に数万件のユニークなテキスト断片と数百件のリンクを取得できます。
出力結果は、強力なテンプレートエンジン Template Toolkit により、任意の形式で保存可能です。これにより、データを JSON、CSV、SQL などの形式に構造化できるほか、フィルタリング、ソート、集計をリアルタイムで適用できます。
FreeAI::GoogleAI スクレイパーは、提供される結果の質の高さと文脈の正確さから、競合調査、事実や引用の収集、ナレッジベースの作成、ニュースモニタリング、トピック分析などのタスクに最適です。
情報
現在、GoogleはAI modeへのアクセスを米国領土内のみに制限しているため、スクレイパーの動作にはUSプロキシを使用する必要があります。また、同様の理由で結果は英語のみとなります。
収集データ
- 回答テキスト（HTML形式）
- データソースのリンク、アンカー、スニペット
機能
- SE::Google スクレイパーと同様に、JSチェックの回避とReCaptchaへの対応をサポート
- より安定した高速な動作のためのセッションサポート
ユースケース
- ナレッジベース、コンテンツプラン、リファレンスシステム、FAQ生成のためのテーマ別クエリによる構造化された回答の収集
- アンカーとスニペットを含む ソースへのリンク の抽出 - 権威あるリソースのリスト作成、引用、バックリンク収集に最適
- ブランド、製品、人物の言及のモニタリング - 文脈とソースへの紐付け
- 権威あるソースからの専門家の意見、トレンド、インサイトの検索と分析
- 主要なトピックに関する情報の最新性と完全性の迅速な確認
- 競合分析の自動化：どのリソースが引用されているか、どのトピックがどの程度の頻度で取り上げられているか
- 異なるソースからの正確な情報の集約を必要とする研究および分析プロジェクトのサポート
- 実際のソースによる裏付けと論理的な文脈を備えた、簡潔で正確な回答を迅速に取得する必要があるあらゆるタスク
クエリ
クエリには、Google AI modeの検索フォームに直接入力する場合と同じように、検索クエリを指定する必要があります。例：
How to learn fast?
How to improve memory and concentration?
What is a parser?
結果
情報
以下、結果の例は視認性を高めるために省略されています。
デフォルトでは、クエリに対する回答が出力されます。例：
A parser is a program that <b>analyzes input data, typically text or code, and converts it into a structured format that a computer can understand and process</b>.<br />
<b>Here's a breakdown of what a parser does:</b>
<ul>
<li><b>Takes Input:</b> Parsers receive input, which can be source code, data in a specific format (like XML or JSON), interactive commands, etc.</li>
<li><b>Breaks Down Input:</b> The parser breaks the input into its constituent parts, such as keywords, operators, identifiers, and symbols, which are called tokens.</li>
...
To improve memory and concentration, you can implement a combination of lifestyle changes and cognitive exercises.<br />
<b>Lifestyle Changes:</b>
<ul>
<li><b>Prioritize Sleep:</b> Adequate and quality sleep is crucial for memory consolidation and cognitive function. Aim for 7-9 hours of sleep each night and maintain a consistent sleep schedule.</li>
...
To learn fast and retain information effectively, focus on strategies that promote active engagement, optimize brain function, and utilize science-backed learning techniques.<br />
<b>1. Enhance Cognitive Function and Focus:</b>
<ul>
<li><b>Prioritize Sleep:</b> Quality sleep is crucial for memory consolidation and improved concentration. Aim for 7-9 hours of sleep per night for optimal results.</li>
...
結果出力のバリエーション
A-Parserは内蔵のテンプレートエンジン Template Toolkit により柔軟な結果フォーマットをサポートしており、任意の形式や、CSVやJSONなどの構造化された形式で結果を出力できます。
リンクの一覧をエクスポート
結果フォーマット:
$links.format('$link\n')
結果の例:
https://www.techtarget.com/searchapparchitecture/definition/parser
https://www.linkedin.com/advice/3/what-role-parser-programming-language-theory-bxxbe#:~:text=A%20parser%20in%20a%20compiler,the%20compilation%20process%20will%20stop.
https://www.huntress.com/cybersecurity-101/topics/what-is-a-parser
https://botpenguin.com/glossary/syntax-analysis
https://www.dremio.com/wiki/parsing/#:~:text=Parsing%2C%20also%20known%20as%20syntax,%2C%20processed%2C%20or%20analyzed%20effectively.
...
リンク、アンカー、スニペットをポジション付きでCSVに出力
結果フォーマット:
[% FOREACH item IN links; tools.CSVline(loop.count, item.link, item.anchor, item.snippet); END %]
結果の例:
...
8,https://www.howtolearn.com/2021/01/9-science-backed-ways-to-learn-anything-faster/,"9 Science Backed Ways to Learn Anything Faster - HowToLearn.com","Jan 4, 2021 — Table of Contents * Break Your Learning into Manageable Portions. * Review What You're Learning Frequently. * Use Mindmaps to Summarize Information. * Take Note..."
9,https://www.linkedin.com/pulse/how-slow-learners-easily-speed-up-learning-sathya-molagoda,"How Slow Learners Easily Speed Up Learning - LinkedIn","Dec 24, 2022 — How Slow Learners Easily Speed Up Learning * Introduction. If you are a slow learner, don't worry. You can easily speed up your learning by using some tips and ..."
10,https://www.linkedin.com/pulse/5-science-backed-learning-techniques-save-time-supercharge-k-c-barr-ljqee,"5 Science-Backed Learning Techniques That Save Time and ...","Jan 16, 2025 — Offsetting forgetting is like patching those holes to retain as much water as possible. * 5 Actionable Steps: Review new material within 24 hours of learning it..."
1,https://www.huntress.com/cybersecurity-101/topics/what-is-a-parser,"What Is a Parser? A Beginner-Friendly Guide to ... - Huntress","May 27, 2025 — What's a Parser (And Why Should You Care)? ... Ever wondered what happens behind the scenes when computers process text, code, or data? That's where parsers com..."
2,https://www.huntress.com/cybersecurity-101/topics/what-is-a-parser,"What Is a Parser? A Beginner-Friendly Guide to ... - Huntress","May 27, 2025 — What's a Parser (And Why Should You Care)? ... Ever wondered what happens behind the scenes when computers process text, code, or data? That's where parsers com..."
3,"https://www.techtarget.com/searchapparchitecture/definition/parser#:~:text=In%20computer%20technology%2C%20a%20parser,necessary%20input%20has%20been%20provided.","What is a Parser? Definition, Types and Examples - TechTarget","Jul 7, 2022 — What is a parser? In computer technology, a parser is a program that's usually part of a compiler. It receives input in the form of sequential source program in..."
ヒント
結果の共通フォーマットでは、FOREACH ループで $links 配列を出力するために Template Toolkit テンプレートエンジン が使用されます。
結果ファイル名で、ファイルの拡張子を csv に変更するだけです。
設定可能な項目
| パラメータ名 | デフォルト値 | 説明 |
|---|---|---|
| Results language | Auto (Based on IP) | 結果の言語の選択 (lr= パラメータ) |
| Search from country | Auto (Based on IP) | 検索を実行する国の選択 (地域依存検索、gl= パラメータ) |
| Location (city) | 都市、地域による検索。novosibirsk, russia のような形式で都市を指定できます。場所の完全なリストは Geotargets (コピー - Canonical Name 列の値を使用してください) で確認できます。また、正しい Google ドメインを設定する必要があります。 | |
| Util::ReCaptcha2 preset | default | ReCaptcha 回避のために  Util::ReCaptcha2 を使用するかどうかを決定します |
| Util::AntiGate preset | default | 画像キャプチャ回避のために  Util::AntiGate を使用するかどうかを決定します |
| ReCaptcha2 retries | 3 | プロキシを変更せずに、指定された回数だけ ReCaptcha の回答送信を試行する回数 |
| ReCaptcha2 pass proxy | ☐ | Google へのリクエストに使用されたプロキシと、Google からのレスポンスで取得したクッキーを ReCaptcha 認識サービスに渡すことを許可します |
| Use sessions | ☑ | 良好なセッションを保存し、エラーを減らしてさらに高速にスクレイピングできるようにします。 |
| Don't take session | ☐ | 保存された良好なセッションを使用しないオプション |
| Additional headers | 任意のカスタムヘッダーを指定できます | |
| Redirect browser max pages | 10 | JavaScript 有効化チェックの保護を回避するために使用されるブラウザページの数 |