メインコンテンツへスキップ

Rank::Ahrefs::BrokenLinks - Ahrefs Broken Link Checker スクレイパー

img

スクレイパー概要​

Rank::Ahrefs::BrokenLinksRank::Ahrefs::BrokenLinks – このスクレイパーは、リンク切れの被リンクおよび発リンクの数とリスト（上位10件）を取得します。

データは次のページから収集されます: https://ahrefs.com/broken-link-checker

動作には、reCAPTCHA解決サービス Util::TurnstileUtil::Turnstile への接続が必要です。

収集データ​

  • 被リンクのリンク切れ数と、その中のdofollowの割合
  • 発リンクのリンク切れ数と、その中のdofollowの割合
  • 被リンクのリンク切れトップ10とその詳細
  • 発リンクのリンク切れトップ10とその詳細

Rank::Ahrefs::BrokenLinks スクレイパーが収集するデータ

機能​

  • プロキシの自動運用
  • リクエストタイプの選択

ユースケース​

  • リンク切れに関するデータの取得

クエリ​

クエリとしてドメインを指定する必要があります。例：

yep.com
a-parser.com

結果の出力例​

A-Parserは、内蔵のテンプレートエンジン Template Toolkit により柔軟な結果のフォーマットをサポートしており、任意の形式や、CSVやJSONなどの構造化された形式で結果を出力できます。

被リンクおよび発リンクのリンク切れ数の出力​

結果フォーマット:

$query: inbound - $in, outbound - $out\n

結果の例:

a-parser.com: inbound - 646, outbound - 1300
yep.com: inbound - 236, outbound - 0

被リンクのリンク切れリストを詳細パラメータ付きでCSVテーブルに出力​

内蔵ユーティリティ $tools.CSVLine を使用すると、ExcelやGoogleスプレッドシートにインポート可能な正しい形式のテーブルドキュメントを作成できます。

結果フォーマット:

[% FOREACH item IN p1.inbound;
   tools.CSVline(item.rank, item.rating, item.traffic, item.from, item.to);
END %]

ファイル名:

$datefile.format().csv

開始テキスト:

Rank,Rating,Traffic,From,To

結果の例:

Rank,Rating,Traffic,From,To
50,93,28333.153498,https://blog.hubspot.com/marketing/top-search-engines,https://yep.com/about
23,6,0,http://lagrilladeariegeoise.com/spip.php?article5,http://user1481732362576.yep.com/blog/405236_General/1859660_4_Tips_for_overwatch_boosting
20,76,2.862819,https://www.abondance.com/20220607-47814-ahrefs-sort-yep-son-moteur-de-recherche-concurrent-de-google-et-bing.html,https://yep.com/settings
15,33,0,http://www.annieshomepage.com/shalloweenlinks.html,http://www.yep.com/cgi-bin/displayRank_yep.cgi?Religion/ranking/25
14,33,0,http://www.annieshomepage.com/halloween2.html,http://www.yep.com/cgi-bin/displayRank_yep.cgi?Religion/ranking/25
14,33,0,http://www.annieshomepage.com/halloweenlinks.html,http://www.yep.com/cgi-bin/displayRank_yep.cgi?Religion/ranking/25
13,92,0,https://sourceforge.net/p/jmdns/bugs/110/,http://northfacecoat.yep.com/
13,11,0.088871,http://alain-pire.be/WordPress/?p=27,http://gamesgratis.yep.com/blog
13,11,0.088871,http://alain-pire.be/WordPress/?p=27,http://hoteljobs.yep.com/blog/69066/104644
12,34,-1,https://earlyinvesting.com/search-engine-market-is-waiting-be-disrupted/,https://yep.com/about
14,32,0,https://s2.openssource.cc/threads/a-parser-universalnyj-mnogopotochnyj-parser-parsing-ljubyx-dannyx.136378/,https://a-parser.com/wiki/rank-semrush/
11,52,0,https://www.gofuckbiz.com/showthread.php?t=30454,http://a-parser.com/projects/a-parser/wiki
11,32,0,https://s2.openssource.cc/threads/a-parser-1-1-prodvinutyj-parser-poiskovyx-sistem-suggest-pr-dmoz-whois-etc.19351/page-5,https://a-parser.com/wiki/rank-linkpad/
11,32,0,https://s2.openssource.cc/threads/a-parser-1-1-prodvinutyj-parser-poiskovyx-sistem-suggest-pr-dmoz-whois-etc.19351/page-5,https://a-parser.com/wiki/rank-semrush/
11,32,0,https://s2.openssource.cc/threads/a-parser-1-1-prodvinutyj-parser-poiskovyx-sistem-suggest-pr-dmoz-whois-etc.19351/page-5,https://a-parser.com/wiki/se-bing-langdetect/
11,32,0,https://s2.openssource.cc/threads/a-parser-1-1-prodvinutyj-parser-poiskovyx-sistem-suggest-pr-dmoz-whois-etc.19351/page-6,https://a-parser.com/docs/javascript-parsers/class-methods-v2
11,32,0,https://s2.openssource.cc/threads/a-parser-1-1-prodvinutyj-parser-poiskovyx-sistem-suggest-pr-dmoz-whois-etc.19351/page-6,https://a-parser.com/docs/parsers/google-maps
11,32,0,https://s2.openssource.cc/threads/a-parser-1-1-prodvinutyj-parser-poiskovyx-sistem-suggest-pr-dmoz-whois-etc.19351/page-6,https://a-parser.com/docs/parsers/rank-linkpad
10,73,0,https://forum.bits.media/index.php?/profile/230848-_forbidden_/content/&type=forums_topic_post,https://a-parser.com/wiki/rank-semrush/
10,73,0,https://forum.bits.media/index.php?/topic/183422-a-parser-%D1%83%D0%BD%D0%B8%D0%B2%D0%B5%D1%80%D1%81%D0%B0%D0%BB%D1%8C%D0%BD%D1%8B%D0%B9-%D0%BC%D0%BD%D0%BE%D0%B3%D0%BE%D0%BF%D0%BE%D1%82%D0%BE%D1%87%D0%BD%D1%8B%D0%B9-%D0%BF%D0%B0%D1%80%D1%81%D0%B5%D1%80/,https://a-parser.com/wiki/rank-semrush/

サンプルをダウンロード

A-Parserにサンプルをインポートする方法

eJx9VFtvmzAU/ivIaqVWYmidtBf2RFjROmWhI8lekqjy4JB6MbZnm2wRyn/vMRBI
2mlv/s71Ozc3xFKzM48aDFhDwlVDVPsmISmgpDW3xCeKagPaqVcko2IXhtGzhtKE
4UTLHYgpEzuDdoNHQ+xBAcaQe9CaFYBKViBeWsafMoipsvkz/fDUJ/PJnvIazpIe
NxufoBLfJpG6oo7R6tpL0uw+ir94zELlPcw8dRcw8VPWovi0Fp7nWSm5CeL5D84E
3DirQCNj3+ufloltD6ymZcnyHpVaVieFvMVg97PP3vWGDCzmdA8LiSxKxmEUJ4hm
tHLcrwpqwWmDsmV8cxvkZo+mtCiYZVJQ3pXiOjmWtxTsd1u7kGiLT83AJEgHRRb+
2l54OLVhRa5aTDBE3fp+73xIWFJuwCcGqSYUiRSvNVgf9kDqVDk+KG+IFBHnU9gD
H83a+JOa8QLHHpXo9NA7/tskfRPjOJR3ngq34Y9GDkOUFk3Sb6NXIadye2oGZxWz
iE2ME3Yb8B6FOwA19GzmzCqpYUhjdQ1DclxsBcJtnttbP+vmv+gn75rsL+RajOOM
VG9PXpV4MbJLYS5FybZpv+ony1os8LRSEctKcXA1i5pzHJmBbFydyPQjcmBoyxvn
uE1xcZTtpn+dd1SVZriaHx3BCrt8nrUPmVPOl9n0XEPGdUNwABXksloL+q67d4eI
c7SwlbhuWNZxM3wGw5fR/OdLCJsjjvSXeex8XI2tEO8dIc6LhHfHF1MeluY=
ヒント

結果フォーマットでは、FOREACH ループで $inbound 配列を出力するために Template Toolkit テンプレートエンジン が使用されています。

結果ファイル名では、拡張子を csv に変更するだけです。

タスクエディタで「Prepend text」オプションを表示するには、「More options」を有効にする必要があります。 「Prepend text」にカンマ区切りの列名を記入し、2行目を空行にします。

設定可能な項目​

注記

全スクレイパー共通の設定

パラメータデフォルト値説明
Util::Turnstile presetdefaultキャプチャ回避用の Util::TurnstileUtil::Turnstile プリセットの選択。事前にスクレイパー Util::TurnstileUtil::Turnstile を設定（アクセスキーなどの指定）し、作成したプリセットをここで選択する必要があります。
Turnstile pass proxy☐解決サービスへのプロキシ転送。詳細
Mode*.domain/*リクエストタイプの選択
Do not search for sitekey☑実験的なオプションで、キャプチャの sitekey 検索を無効にし、タスクの開始を高速化します。無効な sitekey などの問題が発生した場合は、このオプションをオフにする必要があります。
Additional headers任意のリクエストヘッダーを指定可能