SE::AOL::Suggest - AOL検索候補スクレイパー
スクレイパーの概要
AOLのキーワード検索候補（サジェスト）を取得するスクレイパーです。SE::AOL::Suggestを使用することで、AOL検索エンジンのサジェストからキーワードベースを自動的に収集できます。SE::AOL::Suggestを利用すれば、クエリに応じたAOLサジェストを簡単かつ迅速にスクレイピング可能です。
A-Parserのマルチスレッド動作により、クエリ処理速度は最大で毎分 4700 クエリに達し、平均して毎分 13500-14500 件の結果を取得できます。
自動クエリ拡張、ファイルからのサブクエリ置換、英数字の組み合わせやリストの総当たりを使用して、最大限の結果を取得できます。結果のフィルタリングを使用すれば、除外キーワードを設定して不要なゴミを即座に削除し、結果をクリーンに保つことができます。
A-Parserの機能により、SE::AOL::Suggestの設定を後で利用するために保存（プリセット）したり、スクレイピングのスケジュールを設定したりすることが可能です。
内蔵された強力なテンプレートエンジン Template Toolkit により、結果を必要な形式や構造で保存できます。これにより、結果にロジックを適用したり、JSON、SQL、CSV を含む様々なフォーマットでデータを出力したりできます。
収集データ
- クエリごとの結果件数
- クエリのサジェスト
機能
- すべてのAOL検索演算子（site: など）をサポート
- AOLが提供する最大結果数（検索結果100ページ、各20項目）をスクレイピング
ユースケース
- キーワードベースの収集
クエリ
クエリとして検索フレーズを指定する必要があります。例：
write essay
Football
Speak in english
forex
cheap essay
クエリ置換
内蔵マクロを使用して、ファイルからサブクエリを自動的に挿入できます。例えば、各クエリに特定の単語リストを追加したい場合、いくつかのメインクエリを指定します：
essay
article
thesis
クエリフォーマットにファイル Keywords.txt から追加の単語を挿入するマクロを指定します。この方法により、クエリのバリエーションを大幅に増やすことができます：
{subs:Keywords} $query
このマクロは、元の検索クエリごとにファイル内の単語数と同じ数の追加クエリを作成します。その結果、マクロの動作により [元のクエリ数] x [Keywordsファイル内のクエリ数] = [総クエリ数] となります。
例えば、Keywords.txt ファイルに以下が含まれている場合：
buy
cheap
結果として、置換マクロは3つのメインクエリを6つに変換します：
buy essay
cheap essay
buy article
cheap article
buy thesis
cheap thesis
結果の出力例
A-Parserは内蔵のテンプレートエンジン Template Toolkit により柔軟な結果フォーマットをサポートしており、任意の形式やCSV、JSONなどの構造化された形式で結果を出力できます。
サジェストリストのエクスポート
CSVテーブルへの出力
SQL形式での保存
結果フォーマット：
[% FOREACH results;
"INSERT INTO serp VALUES('" _ query _ "', '"; suggest _ "')\n";
END %]
結果の例：
INSERT INTO serp VALUES('write essay', 'write essay for me')
INSERT INTO serp VALUES('write essay', 'write essay')
INSERT INTO serp VALUES('write essay', 'write essay online')
INSERT INTO serp VALUES('write essay', 'write essay for you')
INSERT INTO serp VALUES('write essay', 'write essay free')
INSERT INTO serp VALUES('write essay', 'write essay conclusion')
INSERT INTO serp VALUES('write essay', 'write essay today')
INSERT INTO serp VALUES('write essay', 'write essays for money')
...
JSONへの結果ダンプ
結果の処理
A-Parserではスクレイピング中に直接結果を処理できます。このセクションでは、SE::AOL::Suggestでよく使われるケースを紹介します。