SE::Yandex::WordStat::ByDate - 月別または週別のYandex WordStat表示統計スクレイパー
スクレイパーの概要
Wordstatは、さまざまなトピックに対するユーザーの関心を評価し、SEO最適化やコンテキスト広告のためのキーワードを選定するために設計されたYandexのサービスです。さらに、Wordstat Yandexを使用すると、検索クエリの季節性や地理的依存性を評価することもできます。
Yandex WordStat by dateスクレイパーはクエリの自動展開をサポートしており、検索結果から最大数の結果を確実に取得できます。また、A-Parserは指定された深さまで関連クエリを自動的に辿ることも可能です。
A-Parserの機能により、将来の使用のためにスクレイピング設定を保存（プリセット）したり、スクレイピングのスケジュールを設定したりすることが可能です。自動クエリ展開、ファイルからのサブクエリの置換、英数字の組み合わせやリストの総当たりを使用して、可能な限り多くの結果を取得できます。
内蔵された強力なテンプレートエンジン Template Toolkit により、結果に追加のロジックを適用し、JSON、SQL、CSVを含むさまざまな形式でデータを出力できるため、必要な形式と構造で結果を保存することが可能です。
スクレイパーのユースケース
🔗 Wordstat bydate 自動化
データベースに最新情報を保存するために使用され、実行するたびに最新データを含むcsvを生成します
アカウント
スクレイパー 
SE::Yandex::WordStat::ByDate の動作にはYandexアカウントが必要です。アカウントはスクレイパー 
SE::Yandex::Register を使用して登録するか、既存のアカウントを サポートされている形式 でファイル files/SE-Yandex/accounts.txt に追加してください。
または、アカウントの「オンザフライ」登録を有効にすることもできます。
収集されるデータ
- 月別または週別のキーワード統計
- 日付
- 絶対値
- 相対値
機能
- 検索リージョンの選択をサポート（サブグループ付き）
- 評価のために複数のリージョンを一度に選択可能
- Smart captchaの自動回避をサポートし、AntiCaptchaサービスやその他の互換性のあるAPIを使用して画像キャプチャを回避可能
- デバイスタイプの選択
- 認証方法の選択機能
- アカウントの「オンザフライ」登録機能
- 拡張アカウント形式をサポートし、秘密の質問に回答可能（
infoに回答がある場合）。また、認証に保存されたプロキシを使用可能（infoにある場合）。
利用シーン
- キーワードごとのトラフィック量の評価
- 季節性キーワードの特定
クエリ
クエリとして、Wordstatの検索フォームに直接入力する場合と同じようにキーワードを指定する必要があります。例：
test
結果の出力例
A-Parserは、内蔵のテンプレートエンジン Template Toolkit により柔軟な結果フォーマットをサポートしており、任意の形式やCSV、JSONなどの構造化された形式で結果を出力できます。
デフォルト出力
結果フォーマット：
Views:\n$views.format('$date $count $relcount\n')
結果には、月別および週別のキーワード統計が表示されます：
Monthly:
2011-09-30 3010832 0.0008903808
2011-10-31 681432 0.0001825883
2011-11-30 628532 0.0001575008
2011-12-31 629072 0.0001495699
2012-01-31 561206 0.0001300651
2012-02-29 572039 0.0001290000
2012-03-31 614897 0.0001225754
2012-04-30 520433 0.0001185340
2012-05-31 521967 0.0001235327
2012-06-30 502568 0.0001299958
...
Weekly:
2012-09-16 118715 0.0001222877
2012-09-23 120799 0.0001211773
2012-09-30 137809 0.0001365837
2012-10-07 133929 0.0001313643
2012-10-14 140373 0.0001293922
2012-10-21 136014 0.0001242209
2012-10-28 148350 0.0001293328
2012-11-04 139556 0.0001232566
2012-11-11 154830 0.0001314057
2012-11-18 136458 0.0001147489
2012-11-25 149463 0.0001261401
2012-12-02 144724 0.0001197564
2012-12-09 149142 0.0001212195
2012-12-16 162864 0.0001298181
CSVテーブルへの出力
結果フォーマット：
[% FOREACH i IN views;
tools.CSVline(query, i.count, i.date);
END %]
結果の例：
"テスト",9661734,2012-03-31
"テスト",8567243,2012-04-30
"テスト",9028986,2012-05-31
"テスト",6082099,2012-06-30
"テスト",5531950,2012-07-31
"テスト",5214663,2012-08-31
"テスト",6603865,2012-09-30
"テスト",9127457,2012-10-31
"テスト",9238652,2012-11-30
SQL形式での保存
結果フォーマット：
[% FOREACH i IN views;
"INSERT INTO views VALUES('" _ query _ "', '"; i.count _ "', '"; i.relcount _ "', '"; i.date _ "')\n";
END %]
結果の例：
INSERT INTO serp VALUES('テスト', '9661734', '0.0019259985', '2012-03-31')
INSERT INTO serp VALUES('テスト', '8567243', '0.0019512785', '2012-04-30')
INSERT INTO serp VALUES('テスト', '9028986', '0.0021368683', '2012-05-31')
INSERT INTO serp VALUES('テスト', '6082099', '0.0015732140', '2012-06-30')
INSERT INTO serp VALUES('テスト', '5531950', '0.0013160071', '2012-07-31')
INSERT INTO serp VALUES('テスト', '5214663', '0.0013327945', '2012-08-31')
INSERT INTO serp VALUES('テスト', '6603865', '0.0015936909', '2012-09-30')
INSERT INTO serp VALUES('テスト', '9127457', '0.0018740506', '2012-10-31')
INSERT INTO serp VALUES('テスト', '9238652', '0.0018308715', '2012-11-30'
結果をJSONにダンプ
共通結果形式:
[% IF notFirst;
",\n";
ELSE;
notFirst = 1;
END;
obj = {};
obj.views = [];
FOREACH item IN p1.views;
obj.views.push({
date = item.date
relcount = item.relcount
count = item.count
});
END;
obj.json %]
開始テキスト:
[
終了テキスト:
]
結果の例：
[{
"views": [
{
"count": "9661734",
"date": "2012-03-31",
"relcount": "0.0019259985"
},
{
"count": "8567243",
"date": "2012-04-30",
"relcount": "0.0019512785"
},
{
"count": "9028986",
"date": "2012-05-31",
"relcount": "0.0021368683"
}
]
}]
ヒント
参照： 結果フィルタ
設定
| パラメータ | デフォルト値 | 説明 |
|---|---|---|
| Period | Monthly | 期間の選択 (Monthly/Weekly/Daily、Dailyは Use Wordstat 2 オプションが有効な場合のみ機能) |
| Start date | | 検索を開始する日付の指定。 Use Wordstat 2 オプションが有効な場合のみ機能。 日付指定のルールを必ず考慮してください |
| End date | | 検索を終了する日付の指定。 Use Wordstat 2 オプションが有効な場合のみ機能。 日付指定のルールを必ず考慮してください |
| Region | All | 検索リージョン |
| AntiGate preset | default | 事前にスクレイパー  Util::AntiGate を設定（アクセスキーやその他のパラメータを指定）し、作成したプリセットをここで選択する必要があります |
| AntiGate preset for Login | default | ログイン用のAntiGateプリセット。事前にパラメータを指定してスクレイパー Util::AntiGate を設定し、作成したプリセットをここで選択する必要があります |
| Type | All | デバイスタイプの選択 |
| Accounts | Only from "accounts.txt" | アカウントの処理方法の選択： Always auto register - 常に「オンザフライ」でアカウントを自動登録します。SE::Yandex::Register presetパラメータで設定済みプリセットを選択する必要があります。 Auto register if no more in "accounts.txt" - 最初に accounts.txt の既存アカウントを使用し、不足した場合は「オンザフライ」自動登録を使用します。同様にSE::Yandex::Register presetでプリセット選択が必要です。 Only from "accounts.txt" - accounts.txt の既存アカウントのみを使用し、不足した場合は新しいアカウントが表示されるまで指定時間（Wait new accounts in "accounts.txt"パラメータ）待機します |
| Wait new accounts in "accounts.txt" | 0 | accounts.txt に新しいアカウントが表示されるまでの待機時間 |
| Remove bad accounts | Always, except wrong login/password | 「不良」アカウントの自動削除： Always - 常に削除。 Always, except wrong login/password - ログイン/パスワードが間違っているとYandexが報告した場合を除き、常に削除。YandexはIPブロック時に正常なアカウントに対してもこのメッセージを返すことがあるため、再利用のために残すオプションです。 Never - 削除しない。選択にかかわらず、プロキシ/ブラウザエラー時にはアカウントは削除されません |
| SE::Yandex::Register preset | default | SE::Yandex::Register の設定プリセットの選択 |
| Authorization method | HTTP | 認証方法： HTTP - 高速、低リソース。 Chrome - 低速、高リソース、理論的にアカウントの寿命を延ばす可能性があります |
| Chrome headless | ☑ | 有効にすると、ブラウザは表示されません |
| Use sessions | ☑ | セッションの使用 |
| Do not reset session if authorization passed | ☑ | スクレイパーが既に認証されている場合、エラー時にセッションをリセットしない |
| Use Wordstat 2 | ☐ | Wordstat 2の使用 |
| Wordstat 2 parse all table data | ☑ | ページネーションを辿ることなく、クエリに対して全2000件の結果を一度に取得可能 |