メインコンテンツへスキップ

Rank::MajesticSEO - majesticseo.comからバックリンク数を取得するスクレイパー

スクレイパーの概要​

Majestic スクレイパーは、Trust Flow や Citation Flow といった重要な指標を取得できるため、SEO 担当者にとって最も需要の高いスクレイパーの一つです。自動化されたマルチスレッドの A-Parser Majestic スクレイパーを使用すると、参照ドメイン数、バックリンク数、インデックス済みページ数などのデータをスクレイピングできます。

A-Parser の機能により、スクレイピング設定を後で利用するために保存（プリセット）したり、スクレイピングのスケジュールを設定したりすることが可能です。

A-Parser のマルチスレッド動作により、わずか 50 スレッドを使用して、リクエスト処理速度は毎分最大 100 リクエストに達することがあります。

スクレイパーの概要：動作速度

組み込みの強力なテンプレートエンジン Template Toolkit により、結果に必要なロジックを適用し、JSON、SQL、CSV を含むさまざまな形式でデータを出力するなど、必要な形式と構造で結果を保存できます。

収集データ​

データは www.majesticseo.com サービスから収集されます。

  • 参照ドメイン数
  • バックリンク数
  • インデックス済みページ数
  • Trust Flow および Citation Flow 指標

ユースケース​

  • ドメインの概要情報の取得
  • バックリンク数の評価
  • ドメインへのトラフィック評価

クエリ​

クエリとしてドメインのリストを指定する必要があります。例：

a-parser.com  
yandex.ru  
google.com  
vk.com  
facebook.com  
youtube.com

結果の出力例​

A-Parser は、組み込みのテンプレートエンジン Template Toolkit により柔軟な結果フォーマットをサポートしており、任意の形式や CSV、JSON などの構造化された形式で結果を出力できます。

結果リストのエクスポート​

結果フォーマット：

$query - domains: $domains, backlinks: $backlinks, trust: $trustflow, citation: $citationflow, indexed: $indexed\n

結果には、ドメイン、バックリンク数、参照 IP アドレス数、トラスト、サイテーション、インデックス済みページ数が表示されます。

結果の例：

facebook.com - domains: 28384898, backlinks: 83357892873, trust: 99, citation: 99, indexed: 6743835203
a-parser.com - domains: 380, backlinks: 90219, trust: 12, citation: 38, indexed: 16121
yandex.ru - domains: 592182, backlinks: 1751277762, trust: 88, citation: 82, indexed: 92468056
google.com - domains: 21134537, backlinks: 32206959211, trust: 100, citation: 100, indexed: 3278520318
vk.com - domains: 1145676, backlinks: 3235015237, trust: 90, citation: 85, indexed: 372205938
...

CSV テーブルへの出力​

組み込みユーティリティ $tools.CSVLine を使用すると、Excel や Google スプレッドシートにインポート可能な正しいテーブルドキュメントを作成できます。

結果フォーマット：

[% tools.CSVline(query.orig,domains,trustflow,citationflow,indexed) %]

ファイル名：

$datefile.format().csv

初期テキスト：

ドメイン,参照ドメイン,トラスト,サイテーション,インデックス

結果の例：

ドメイン,参照ドメイン,トラスト,サイテーション,インデックス
a-parser.com,380,12,38,16121
yandex.ru,592182,88,82,92468056
vk.com,1145676,90,85,372205938
facebook.com,28384898,99,99,6743835203
google.com,21134537,100,100,3278520318
ヒント

結果フォーマットには、結果を出力するために Template Toolkit テンプレートエンジン が使用されます。

結果のファイル名で、ファイルの拡張子を csv に変更するだけです。

タスクエディタで「Prepend text」オプションを使用するには、「More options」を有効にする必要があります。 「Prepend text」にカンマ区切りで列名を記入し、2 行目を空行にします。

SQL 形式での保存​

結果フォーマット：

INSERT INTO serp VALUES('$query.orig', '$domains', '$backlinks', '$trustflow', '$citationflow', '$indexed')\n

結果の例：

INSERT INTO serp VALUES('google.com', '21134537', '32206959211', '100', '100', '3278520318')
INSERT INTO serp VALUES('vk.com', '1145676', '3235015237', '90', '85', '372205938')
INSERT INTO serp VALUES('yandex.ru', '592182', '1751277762', '88', '82', '92468056')
INSERT INTO serp VALUES('a-parser.com', '380', '90219', '12', '38', '16121')
INSERT INTO serp VALUES('facebook.com', '28384898', '83357892873', '99', '99', '6743835203')

JSON への結果ダンプ​

共通結果形式:

[% IF notFirst;
  ",\n";
ELSE;
  notFirst = 1;
END;

obj = {};
obj.query = p1.query.orig;
obj.indexed = p1.indexed;
obj.domains = p1.domains;
obj.citationflow = p1.citationflow;
obj.trustflow = p1.trustflow;
obj.backlinks = p1.backlinks;

obj.json %]

開始テキスト:

[

終了テキスト:

]

結果の例：

[
    {"indexed":"372205938","domains":"1145676","citationflow":"85","query":"vk.com","trustflow":"90","backlinks":"3235015237"},
    {"indexed":"92468056","domains":"592182","citationflow":"82","query":"yandex.ru","trustflow":"88","backlinks":"1751277762"},
    {"indexed":"6743835203","domains":"28384898","citationflow":"99","query":"facebook.com","trustflow":"99","backlinks":"83357892873"},
    {"indexed":"3278520318","domains":"21134537","citationflow":"100","query":"google.com","trustflow":"100","backlinks":"32206959211"},
    {"indexed":"16121","domains":"380","citationflow":"38","query":"a-parser.com","trustflow":"12","backlinks":"90219"}
]
ヒント

タスクエディタで「Prepend text」および「Append text」オプションを使用するには、「More options」を有効にする必要があります。

結果の処理​

A-Parser ではスクレイピング中に直接結果を処理できます。このセクションでは、Rank::MajesticSEO スクレイパーで最も一般的なケースを紹介します。

必要なトラスト値を持つドメインの保存​

フィルタを追加し、ドロップダウンリストからチェック値の変数 $trustflow - Trust flow を選択します。タイプ（例：>）を選択します。次に、Number (数値)に必要な値（例：10）を入力します。このフィルタにより、Trust flow の値が 10 未満のすべての結果を除外できます。

フィルタの使用例
サンプルをダウンロード

A-Parser へのサンプルインポート方法

eJx9VFFP20AM/ivRCaRNggoe9lK0SQWt0iagDMpT24cjcbqjl3O4u5RWUf479iW9
tMD21Nr+7LM/f3EtvHQrd2fBgXdiOKtFGf6LobiXZjUc3shncF6lDz8nyWkyVtqD
TWAji1KDOBGltA4sZ84+JlA8g1xW2ouTWvhtCVQW12CtyjhZZWSXFjdbC94qcORb
S10x7PzsTDT/zgruHm0R/f/g6V+LxV6CtxXswfMwFoVpdu6W6tvK+VzjKznb6LSF
/jjokQwsvUJDlgPjRLNY7Kq4MdpCcrHZcZJJL5PvSd1cJMncsDV4qcBuyVeet38H
aNXyYhfNsJDKuDbeGTH4JNOVVmbVhaMZAbH9FhDNCEiVl9x3j9n3RJgyGWwgaxGd
wcHjxVGIPzs087mJzLkHuYYptpRC7ybdwK0smDROBI4O8sDPl68DvyGBCJllihuQ
uiWORdWT+WjUSyDdIGGZMNLLmLbKy4JQILC4I30mjoItqEQVcv+0OWKYS+3gRDhq
dSypkex9RNG6pUc7Caslfy3QjLS+hjXoHhbqX1ZKZ/QFjHJK+tUlfg6ZfKjRxPH2
nyLtvlrqIVYJ1uXkps/K8BqXNHn2RHNrVShPtrvCyrDeWJYrgDJydsucFWghPtNV
7l6n778Ewx9Kv7JR2bsOxjhYy6EzJfmo5aT7+HbIykzpyEzMFfLR4LlMpTWtxcF9
L4+R69bARt/g++Sr8ASPvrsswiNq9/uhbbW0iuT3jRssiMn9V7uSqdT68f56PyJ6
SZEhT9urNkixmJutZNkPbDU3S8Ql6Ta416v2N5cpPCF2luDyHpZIwqPhm0W8kPHE
1p/cyWHd0FKf3V2LZQYYST6i0oXzct68AXxQ/Fc=
ヒント

参照：結果フィルタ

設定可能な項目​

注記

すべてのスクレイパーに共通の設定

パラメータ名デフォルト値説明
Check typeRoot domainチェックのタイプを選択できます：Root Domain / Subdomain / URL
Use Chrome (Slow)☐すべてのリクエストに Chrome ブラウザを使用するように指定します
Use Headless mode for Chrome☑ブラウザ経由のリクエストに Headless モードを使用します
Use Stealth mode for Chrome☐ブラウザ経由のリクエスト時にブラウザの使用を偽装します
Use HTTP2 for requests without Chrome☐ブラウザを使用しないリクエストに HTTP/2 を使用します
Emulate browser headers for requests without Chrome☐ブラウザを使用しないリクエスト時にブラウザのヘッダーをエミュレートします
User-agent for requests without Chrome[% tools.ua.random() %]ブラウザを使用しないリクエストのユーザーエージェントを上書きします
Additional headers for requests without ChromeAccept, Accept-Encoding, Accept-Languageブラウザを使用しないリクエストのヘッダーを設定できます。Net::HTTPNet::HTTP の Additional headers と同様に動作します。