メインコンテンツへスキップ

SE::Yandex::WordCraft - WordCraftスクレイパー。クエリの選定と市場分析

img

スクレイパーの概要​

Yandex WordCraft（ワードクラフト）は、人気度や競合環境を考慮して、プロモーションや広告のためのターゲットクエリを選択できるYandex Webmasterサービスの一部です。分析には数億件のユニークなクエリを利用できます。需要、表示回数、クリック数、順位は、過去1年間の月平均として提供されます。

Yandex WordCraftクエリスクレイパーは、クエリの自動展開をサポートしており、検索結果から最大数の結果を確実に取得できます。

A-Parserの機能により、今後の使用のためにスクレイピング設定を保存（プリセット）したり、スクレイピングのスケジュールを設定したりすることが可能です。自動クエリ展開、ファイルからのサブクエリの置換、英数字の組み合わせやリストの総当たりを使用して、Yandex Wordstatのスクレイピング時に可能な限り多くの結果を取得できます。

内蔵された強力なテンプレートエンジン Template Toolkit により、結果に必要なロジックを適用し、TXT、JSON、SQL、CSVを含む様々な形式でデータを出力するなど、必要に応じた形式と構造で結果を保存できます。

アカウント​

スクレイパー SE::Yandex::WordCraftSE::Yandex::WordCraft の動作にはYandexアカウントが必要です。アカウントはスクレイパー SE::Yandex::RegisterSE::Yandex::Register を使用して登録するか、既存のアカウントを サポートされている形式 でファイル files/SE-Yandex/accounts.txt に追加してください。

または、オンザフライでのアカウント登録を有効にすることもできます。

セッションによる認証を使用して動作させるには、データ行が次の形式である必要があります： [email protected];MAQT78Z31Rinx4H;{"answer":"qmfhsxdcrk","proxy":"185.104.120.45:3128","session_id":"3:1748440908.5.0.1748440867459:ZXBxpg:47e4.1.2:1|2191075974.41.2.2:41.3:1748440908|3:10308131.797655.5pfkoRZWgLJGntKTlcUhYdysNfk"}

収集データ​

  • ユーザーのクエリ（メイン）：
    • クエリ、競合性、需要、クリック数
  • ユーザーのクエリ（追加）：
    • クエリ、競合性、需要、クリック数
  • Yandex検索で人気のサイト（サイト）：
    • サイト、表示頻度、平均順位
  • Yandex検索で人気のサイト（ページ）：
    • URL, 表示頻度、平均順位、クエリ数、タイトル

ユースケース​

  • キーワードごとの競合性評価（需要、クリック数）
  • 類似テーマの新しいキーワードの検索
  • 様々なテーマのキーワードの大規模なデータベース収集
  • その他、何らかの形でのYandex Webmaster WordCraftのスクレイピングを伴うあらゆるケース

クエリ​

クエリとしては、WordCraftのクエリ検索フィールドに直接入力する場合と同じように、キーワードを指定する必要があります。例：

掃除機
seo

結果の出力例​

A-Parser 内蔵のテンプレートエンジンにより柔軟な結果フォーマットをサポートしており、Template Toolkit, これにより、任意の形式や、CSVやJSONなどの構造化された形式で結果を出力できます。

デフォルト出力​

ユーザーのクエリ（メイン）のリスト出力例。 結果フォーマット：

User queries general: $uqg.format('$query,$compet,$demand,$clicks\n')

結果リスト：

掃除機,HIGH,33190,9248
掃除機,HIGH,31204,8768
掃除機,HIGH,14097,6082
...  
掃除機,HIGH,791,656
注記

結果を出力するために 結果の全般形式 を使用するには、タスク内でスクレイパー番号を指定する必要があります - $p1. (parser 1) または p1. を使用している場合 Template Toolkit テンプレートエンジン. 例： 

User queries general: $p1.uqg.format('$query,$compet,$demand,$clicks\n')

結果の全般形式については、結果フォーマットの編集を参照してください

CSVテーブルへの出力​

ユーザーのクエリ（メイン）のリストをCSVテーブルに出力する例。 結果フォーマット：

[%  
    FOREACH uqg; 
        tools.CSVline(query,compet,demand,clicks); 
    END;
%]

ユーザーのクエリ（追加）のリストをCSVテーブルに出力する例。 結果フォーマット：

[%  
    FOREACH uqa; 
        tools.CSVline(query,compet,demand,clicks); 
    END;
%]

Yandex検索で人気のサイト（サイト）のリストをCSVテーブルに出力する例。 結果フォーマット：

[%  
    FOREACH rs; 
        tools.CSVline(site,popul,position); 
    END;
%]

Yandex検索で人気のサイト（ページ）のリストをCSVテーブルに出力する例。 結果フォーマット：

[%  
    FOREACH rp; 
        tools.CSVline(url,popul,position,queries,title); 
    END
%]
ヒント

参照： 結果フィルタ

オプション​

  • Parse queries for Rivals pages - このオプションを有効にすると、Rivals pages内の各リンクの人気クエリを収集します。収集されたデータは、変数 $rp.$i.queries_json にJSONオブジェクトとして記録されます。このオプションを有効にすると、スクレイパーが多数の追加サブクエリを実行するため、スクレイピング時間が大幅に増加します。

設定​

注記

全スクレイパー共通の設定

パラメーターデフォルト値説明
AntiGate presetdefaultあらかじめスクレイパー Util::AntiGateUtil::AntiGate を設定し、アクセスキーやその他のパラメーターを指定した後、ここで作成したプリセットを選択する必要があります。
AntiGate preset for Logindefaultログイン用のAntiGateプリセット。あらかじめスクレイパー Util::AntiGateUtil::AntiGate をパラメーターと共に設定した後、ここで作成したプリセットを選択する必要があります。
AccountsOnly from "accounts.txt"アカウントの操作方法の選択： Always auto register - 常にオンザフライでアカウントを自動登録します。SE::Yandex::Register preset パラメーターで設定済みのプリセットを選択する必要があります。 Auto register if no more in "accounts.txt" - 最初に accounts.txt の既存アカウントを使用し、それらがなくなるとオンザフライの自動登録を使用します。これには SE::Yandex::Register preset パラメーターで設定済みのプリセットを選択する必要があります。 Only from "accounts.txt" - accounts.txt の既存アカウントのみを使用し、それらがなくなると新しいアカウントが表示されるまで指定された時間（Wait new accounts in "accounts.txt" パラメーター）待機します。 Only by session_id from "accounts.txt" - クッキーによる認証。
Wait new accounts in "accounts.txt"0accounts.txt に新しいアカウントが表示されるまでの待機時間
Remove bad accountsAlways, except wrong login/password「不良」アカウントの自動削除： Always - 常に削除。 Always, except wrong login/password - Yandexがログイン/パスワードが正しくないと報告した場合を除き、常に削除。実際には、完全に動作するアカウントであってもIPがBANされている場合にYandexがそのようなメッセージを返すことがあるため、オプションでそのようなアカウントを再利用のために残すことができます。 Never - 削除しない。選択したオプションに関わらず、プロキシ/ブラウザのエラー時にはアカウントは削除されません。
SE::Yandex::Register presetdefaultSE::Yandex::RegisterSE::Yandex::Register の設定プリセットの選択
Use sessions☑セッションの使用
Do not reset session if authorization passed☑スクレイパーが既に認証されている場合、エラー時にセッションをリセットしない
SE::Yandex::Register presetdefaultSE::Yandex::RegisterSE::Yandex::Register の設定プリセットの選択