SE::Yahoo::Suggest - Yahooサジェストスクレイパー
スクレイパーの概要
Yahooのキーワード検索候補（サジェスト）を取得するスクレイパーです。Yahooサジェストスクレイパーは、SEOの主要な課題の一つである、拡張されたセマンティックカーネルの迅速な自動取得を解決します。SE::Yahoo::Suggestスクレイパーを使用することで、クエリに基づいてYahoo検索エンジンのサジェストからキーワードベースを自動的に収集できます。SE::Yahoo::Suggestスクレイパーを利用すれば、選択したドメインに基づいてYahooのサジェストを簡単かつ迅速にスクレイピングすることが可能です。
A-Parserのマルチスレッド動作により、クエリの処理速度は毎分最大 7700 クエリに達し、平均して毎分最大 51000 件の結果を取得できます。
自動クエリ増殖、ファイルからのサブクエリ置換、英数字の組み合わせやリストの総当たりを使用して、可能な限り多くの結果を取得できます。結果のフィルタリングを使用すれば、除外キーワードを用いて不要なゴミを削除し、すぐに結果をクリーンアップできます。
A-Parserの機能により、SE::Yahoo::Suggestスクレイパーのスクレイピング設定を将来の使用のために保存（プリセット）したり、スクレイピングのスケジュールを設定したりすることが可能です。
内蔵された強力なテンプレートエンジン Template Toolkit により、結果に必要な形式や構造で保存できます。これにより、結果に追加のロジックを適用したり、JSON、SQL、CSV を含む様々なフォーマットでデータを出力したりできます。
収集データ
- クエリごとの結果数
- クエリへのサジェスト
機能
- ドメインの選択
ユースケース
- キーワードベースの収集
クエリ
クエリとして検索フレーズを指定する必要があります。例：
write essay
Football
Waterfall
Speak in english
Cats and dogs
forex
cheap essay
クエリ置換
内蔵マクロを使用して、ファイルからサブクエリを自動的に置換できます。例えば、各クエリに他の単語のリストを追加したい場合、いくつかのメインクエリを指定します：
essay
article
thesis
クエリフォーマットに、ファイル Keywords.txt から追加の単語を置換するマクロを指定します。この方法により、クエリのバリエーションを何倍にも増やすことができます：
{subs:Keywords} $query
このマクロは、元の各検索クエリに対してファイル内にある単語の数だけ追加のクエリを作成します。その結果、マクロの動作により [元のクエリ数(ドメイン)] x [Keywordsファイル内のクエリ数] = [総クエリ数] となります。
例えば、Keywords.txt ファイルに以下が含まれている場合：
buy
cheap
最終的に置換マクロは3つのメインクエリを6つに変換します：
buy essay
cheap essay
buy article
cheap article
buy thesis
cheap thesis
結果の出力例
A-Parserは内蔵のテンプレートエンジン Template Toolkit により柔軟な結果フォーマットをサポートしており、任意の形式やCSV、JSONなどの構造化された形式で結果を出力できます。
サジェストリストのエクスポート
CSVテーブルへの出力
キーワードの競合
SQL形式での保存
結果フォーマット：
[% FOREACH results;
"INSERT INTO serp VALUES('" _ query _ "', '"; suggest _ "')\n";
END %]
結果の例：
INSERT INTO serp VALUES('write essay', 'write essay for me')
INSERT INTO serp VALUES('write essay', 'write essay online')
INSERT INTO serp VALUES('write essay', 'write essay for you')
INSERT INTO serp VALUES('write essay', 'write essay free')
INSERT INTO serp VALUES('write essay', 'write essays')
INSERT INTO serp VALUES('write essay', 'write essay conclusion')
INSERT INTO serp VALUES('write essay', 'write essay on covid 19')
INSERT INTO serp VALUES('write essay', 'write essay today')
INSERT INTO serp VALUES('write essay', 'write essays for money')
INSERT INTO serp VALUES('write essay', 'write essay online for free')
...
JSONへの結果ダンプ
結果の処理
A-Parserではスクレイピング中に直接結果を処理できます。このセクションでは、SE::Yahoo::Suggestスクレイパーの最も一般的なケースを紹介します。
オプション：指定レベルまでスクレイピング (Parse to level)
結果のフィルタリング（除外キーワードの使用）
設定可能な項目
| パラメータ名 | デフォルト値 | 説明 |
|---|---|---|
| Yahoo domain | sugg.search.yahoo.com | Yahooドメインの選択。検索言語を選択できます |