メインコンテンツへスキップ

Rank::Ahrefs - Ahrefs Backlink Checker スクレイパー

スクレイパーの概要

スクレイパーの概要​

Ahrefs スクレイパーは、バックリンクの調査、トラフィックの評価、競合の検索クエリ分析などのタスクにおいて、SEO担当者にとって最も人気のあるツールの1つです。これを使用することで、ドメインレーティング、バックリンク数、参照ドメイン数に関する完全な情報を取得できます。Ahrefs スクレイパーを使用すると、競合の大量マルチスレッド分析を実行できます。

組み込みの強力なテンプレートエンジン Template Toolkit により、結果に追加のロジックを適用し、JSON、SQL、CSV を含むさまざまな形式でデータを出力できるため、必要に応じた形式と構造で結果を保存することが可能です。

収集データ​

データは https://ahrefs.com/ru/backlink-checker ページから収集されます。

動作には、reCAPTCHA解決サービス Util::TurnstileUtil::Turnstile の接続が必要です。

  • ドメインおよびURLのレーティング
  • バックリンク数と dofollow バックリンクの割合
  • 参照ドメイン数と、その中の dofollow の割合
  • TOP100 バックリンクのリスト
    • ページへのリンク
    • ページの Title
    • DR
    • Url
    • リンクの Anchor
    • リダイレクトコード
    • リダイレクトデータを含む JSON オブジェクトの配列
収集データ

ユースケース​

  • ドメインの要約情報の取得
  • バックリンク数の評価
  • ドメインの評価

クエリ​

クエリとしてドメインのリストを指定する必要があります。例：

a-parser.com
yandex.ru
google.com
vk.com
facebook.com
youtube.com

結果の出力例​

A-Parser は、組み込みのテンプレートエンジン Template Toolkit により柔軟な結果フォーマットをサポートしており、任意の形式や CSV、JSON などの構造化された形式で結果を出力できます。

デフォルト出力​

結果フォーマット：

$query: $rating\n

結果にはドメインとそのレーティングが表示されます：

a-parser.com: 39
yandex.ru: 94
vk.com: 95
facebook.com: 100
youtube.com: 99
google.com: 98

主要なドメインデータの出力​

結果フォーマット：

$query, $url_rating $rating, $bl, $bl_dofollow, $domains, $domains_dofollow

結果の例：

a-parser.com, 21, 35, 218702, 96, 569, 53

結果フォーマット：

[% FOREACH backlink IN backlinks;
   tools.CSVline(backlink.page,backlink.title,backlink.dr,backlink.url,backlink.anchor,backlink.redirect_code);
END %]

結果の例：

https://in-scale.ru/blog/rassylka-telegram/,"Telegramでの一斉送信 - 大量に行う方法 + おすすめソフト9選",54,https://a-parser.com/?ref=21341,A-Parser,0
https://coba.tools/seo/monitoring-pozitsiy,"検索エンジンでのサイト順位チェック用オンラインサービスとプログラム",31,https://a-parser.com/,"サイトへ移動",0
https://pricecontrol.biz/9-prepyatstvij-pri-parsinge-sajtov/,"Price Controlによる2023年競合価格スクレイピング",16,https://a-parser.com/,https://a-parser.com/,0
https://www.unisender.com/ru/blog/idei/parsery-dlya-sbora-dannyh-s-sajtov/,"サイトから素早くデータを収集する方法",76,https://a-parser.com/,A-Parser,0
https://www.ashmanov.com/education/articles/poiskovye-podskazki-yandeks/,"Yandexのサジェストによるサイトプロモーション",68,https://a-parser.com/parsers/,A-parser,0
https://www.calltouch.ru/blog/luchshie-servisy-i-boty-dlya-parsinga-telegram/,"Telegramチャンネルスクレイパー：チャット、投稿、ユーザーのデータ収集・処理に最適なサービスとボットのレビュー | Calltouch.Blog",72,https://a-parser.com/parsers/,A-Parser,0
https://seonomad.net/ru/seotools/tekst-ru,"Text.ru 説明、レビュー、類似サービス",24,https://a-parser.com/?ref=29414,A-parser,0
ヒント

結果フォーマットでは、FOREACH ループ内で $backlinks 配列の要素を出力するために Template Toolkit テンプレートエンジン が使用されています。

結果を JSON にダンプ​

共通結果形式:

[% IF notFirst;
  ",\n";
ELSE;
  notFirst = 1;
END;

obj = {};
obj.items = [];

FOREACH item IN p1.backlinks;
    obj.items.push({
        dr = item.dr
        page = item.page
        title = item.title
    });
END;

obj.json %]

開始テキスト:

[

終了テキスト:

]

結果の例：

[{
    "items": [
        {
            "page": "https://forum.compucoin.org/showthread.php?tid=612923&pid=1137290",
            "dr": 34,
            "title": "GypeKetarert wsvpz"
        },
        {
            "page": "https://forum.compucoin.org/showthread.php?tid=612923&pid=1137290",
            "dr": 34,
            "title": "GypeKetarert wsvpz"
        },
        {  
            "page": "https://forum.compucoin.org/showthread.php?tid=612923&pid=1137290",
            "dr": 34,
            "title": "GypeKetarert wsvpz"
        },
        {
            "page": "https://forum.compucoin.org/showthread.php?tid=612923&pid=1137290",
            "dr": 34,
            "title": "GypeKetarert wsvpz"
        }
    ]
}]
ヒント

「Prepend text」と「Append text」のオプションをタスクエディタで利用するには、「More options」を有効にする必要があります。

設定​

注記

すべてのスクレイパーに共通の設定

パラメータデフォルト値説明
Util::Turnstile presetdefaultキャプチャ回避のための Util::TurnstileUtil::Turnstile プリセットの選択。事前にスクレイパー Util::TurnstileUtil::Turnstile を設定（アクセスキーやその他のパラメータを指定）し、作成したプリセットをここで選択する必要があります。
Turnstile pass proxy☐解決サービスへのプロキシ転送。詳細。
Do not search for sitekey☑実験的なオプション。キャプチャの sitekey 検索を無効にし、タスクの開始を高速化します。無効な sitekey などの問題が発生した場合は、このオプションをオフにする必要があります。
Mode*.domain/*ドメインタイプの選択。URL と *.domain/* の2つのタイプがあります。URL は正確なアドレス、*.domain/* はすべてのサブドメインを含むドメインです。
Additional headers任意のリクエストヘッダーを指定可能