メインコンテンツへスキップ

1つのタスクで複数のスクレイパーを使用する

機能​

A-Parser は、複数のスクレイパーによるクエリの同時処理をサポートしており、以下のことが可能です：

  • 複数の検索エンジンの検索結果を一度にスクレイピングする
  • 多数のパラメータに基づいてドメインを分析する
  • さまざまな検索エンジンやYandex.Wordstatのサジェストからキーワードを同時に収集する
  • ドメインのWhoisおよびDNS情報を収集する
  • その他多くの活用方法があります

スクレイパーの追加​

新しいスクレイパーを追加するには、タスクエディタの Add Parser (スクレイパーを追加) ボタンをクリックするだけです：

タスクエディタの「スクレイパーを追加」ボタン

各スクレイパーには番号が振られており、結果ビルダーや結果のフォーマット設定時に、以下の短縮記号を使用して各スクレイパーの結果にアクセスできます：

$p1, $p2... - 数字はスクレイパーの番号を表します。

全般的な結果フォーマットでは、デフォルトで各スクレイパーの結果が、各スクレイパーの設定で指定された形式で順番に出力されます。

1つのタスクで複数のスクレイパーを使用すると、1つのスクレイパーに対する同時リクエスト数が分散されるため、プロキシのBANやキャプチャの発生頻度が下がり、全体のスクレイピング速度が向上します。

各スクレイパーは、元のクエリまたはクエリビルダーを使用したバリエーションをスクレイピングし、設定に独自のクエリフォーマットを持ちますが、あるスクレイパーの結果を別のスクレイパーのクエリとして渡すことはできません（この機能は将来的に計画されています）。

ドメイン分析の例​

ドメイン分析の例

この例では、間もなく期限切れになる（再登録が可能になる）ドメインのリストをクエリとして使用しています。条件の良いドメインを選択するために、6つの異なるスクレイパーを利用しました：

  • SE::GoogleSE::Google - site:$query 形式でGoogleにクエリを送信し、インデックスされたページ数を取得します
  • Rank::BingAnalyticsRank::BingAnalytics - ドメインのグローバルランクを取得します
  • SE::GoogleSE::Google - "$query" 形式でGoogleにクエリを送信し、ドメインの言及数を取得します
  • SE::Google::TrustCheckSE::Google::TrustCheck - Googleからのサイトの信頼度を取得します
  • SE::Google::SafeBrowsingSE::Google::SafeBrowsing - サイトが安全でないとマークされていないか確認します
  • Rank::AhrefsRank::Ahrefs - Ahrefsサービスを通じてドメインへのバックリンク数を取得します

結果フォーマットでは、元のクエリ（ドメイン）と各スクレイパーからの結果を、必要な順序で出力します：

$query, $p1.totalcount, $p2.globalRank, $p3.totalcount, $p4.trustrank, $p5.exists, $p6.bl\n
例をダウンロード

A-Parserへの設定のインポート方法

eJy1Vd1v2zYQ/1cMIg/bYKhxuvZBb47X7ANZ7dnOU1wEjHSSWVMkS1J2PCP/++5I
yrLTFOiADXrR8b5+v7vj8cA8dxs3s+DAO5bfH5gJ/yxnY8Xl/m8Y/KIbLpQbXGWX
bMgMtw4smd6zxYc8/1XrWgIqZrwGN5joVvlB62Aws/ppz4YH5vcGMJzegrWiJFNR
ovylBbuvtG24x6Mtly1ZOeEhvwg69vxpeM/mXG3y/FqoOuDxonBoXkLFW+kZWfwP
KFYsQlixCKJPkedL2zo/WUOxOcHxbxOsvTf5mzenRE9zLHgF11bvHNL+b7PEco7X
Fir3XZHvvJAPy9Yqhz/wkKajzzFW2BJufLHmmOHTkKEBRnQ3EUyeKjkcXJhR5rXn
sqDmkHyV1VI/ckmYSH77Qv9z5qnWNqnfZfAknHf0/z57lKuVYsd0C76FpcZ0lQhz
0KFA6SNvCOhFyT2QNot1+uHHzD8RE16WwguN0xUx02z3PO6U+BKIKo22xEWAu7G6
wSMPIUAg2PG9T4RxNFkbfP+KPiyvuHQwZA6h3nAEUr7U4Oxb7rWdGsKD5wem1VjK
W9iC7M1C/OtWyBIv4rhCp9+T4+sm069iPB/pnabCzu8sYjhGCdL19M/eq9S3uu6K
IUUjPMouXDc8pf2wATDHmn0ks0ZbOKZJkVN23DsGFI1Z37Kx6Y/OaJy15fyw0KoS
9TSNbmfZqiUut6ma6MZIIF6qlRLb4mDej8fYpTaQ0AN86TwJKRDW8cowr7V0fywi
VGMFjt87AthgJU+zppAFl/JufnuqIUfntZmqD9a+aF8YDMblVjjdZIVuVoo3Da9l
/C/WAmsT/7EQvNzFf5Ca21KrJDnP7b7mUfrcqoIWaJSkrrGBLukaTphsFJCLg1Ik
lRO1Es6kZG6jpeEqSbu1qCVXZZT2equtXycojDh7qDXeBuwI7p/u9Ti+N4fT7Y3S
6+sbFacLrtsp3WuktK/QA2dmROWfxG00Rzahhm+HrJapSRi+SMM6Ck3D8GGXAxaf
/YRHazIFwl6Gdw+l3W6X1QEi8aLGiwZ0i0HeXw7jgpx3Wa8eju9nPyjIxEQiCFBV
BnOhIy4PyyOROAhgDUWOktRYO7wzUcII+Ll4h0aETfkl38AiHoZ4uNs80RjRzVQb
ZzAe8iWql3HN/QY83pkuXTe6iM125YrWFhCZ8yVIvg/RS9iKAgItt8GR7fweuVJQ
FhK4ag1VhJCEPsWbeuxWPrjo13u3u1PVZty51Gp0l9QL9ozr5rXHPz+g4hsP8le6
s4c0aM8eQDzBo89uFseSNkBKgKskFnb0/A8Hayy4

⏩ 複数のスクレイパーを使用したプリセット作成の動画例​

この動画チュートリアルでは、Googleの検索結果からキーワードに基づいて特定のテーマのドメインをスクレイピングし、それらのドメインの様々なパラメータを取得するためのプリセット作成方法を解説しています。

レッスン内容：

  • Google検索結果のスクレイピング
  • メインドメインとしての一意な結果の出力
  • 以下のパラメータの取得：
    • ドメインが登録されているかどうか
    • ドメインの登録日と有効期限
    • サイトの言語
    • title と description
    • サイト品質指数 (SQI)
    • Alexaグローバルランクでの順位
    • Alexaによるトラフィックが最も多い国
    • その国におけるAlexaランクでの順位