メインコンテンツへスキップ

Rank::MajesticSEO - Majestic Site Explorer メトリクス

スクレイパーの概要​

Majestic スクレイパーは、Trust Flow や Citation Flow といった重要な指標を取得できるため、SEO 担当者にとって最も需要の高いスクレイパーの一つです。自動化されたマルチスレッドの A-Parser Majestic スクレイパーを使用すると、参照ドメイン数、バックリンク数、インデックス済みページ数などのデータをスクレイピングできます。

A-Parser の機能により、スクレイピング設定を後で利用するために保存（プリセット）したり、スクレイピングのスケジュールを設定したりすることが可能です。

スクレイパーの概要：動作速度

組み込みの強力なテンプレートエンジン Template Toolkit により、結果に必要なロジックを適用し、JSON、SQL、CSV を含むさまざまな形式でデータを出力するなど、必要な形式と構造で結果を保存できます。

収集データ​

データは Majestic から収集されます。

  • $domains — 参照ドメイン
  • $backlinks — 外部リンク（バックリンク）
  • $indexed — インデックス済みURL
  • $citationflow — サイテーションフロー (Citation Flow)
  • $trustflow — トラストフロー (Trust Flow)
  • 配列 $incoming_langs (被リンクの言語):
    • $incoming_langs.$i.lang — 言語
    • $incoming_langs.$i.rate — 言語の割合
  • 配列 $site_langs (サイトの言語):
    • $site_langs.$i.lang — 言語
    • $site_langs.$i.rate — 言語の割合

ユースケース​

  • ドメインの概要情報の取得
  • バックリンク数および参照ドメイン数の評価
  • ドメインリストに基づく Trust Flow / Citation Flow の取得
  • 被リンクおよびサイト自体の言語プロファイルの分析

クエリ​

クエリは、Check type に応じて、ドメイン、URL、またはパスになります。

チェックタイプMajesticに送信される内容
Root domainクエリのルートドメイン
Subdomainクエリのドメイン
URL / Pathクエリそのまま

ドメインリストの例:

a-parser.com  
yandex.ru  
google.com  
vk.com  
facebook.com  
youtube.com

結果の出力例​

A-Parser は、組み込みのテンプレートエンジン Template Toolkit により柔軟な結果フォーマットをサポートしており、任意の形式や CSV、JSON などの構造化された形式で結果を出力できます。

結果リストのエクスポート​

結果フォーマット：

$query - domains: $domains, backlinks: $backlinks, trust: $trustflow, citation: $citationflow, indexed: $indexed\n

結果には、ドメイン、バックリンク数、参照 IP アドレス数、トラスト、サイテーション、インデックス済みページ数が表示されます。

結果の例：

facebook.com - domains: 28384898, backlinks: 83357892873, trust: 99, citation: 99, indexed: 6743835203
a-parser.com - domains: 380, backlinks: 90219, trust: 12, citation: 38, indexed: 16121
yandex.ru - domains: 592182, backlinks: 1751277762, trust: 88, citation: 82, indexed: 92468056
google.com - domains: 21134537, backlinks: 32206959211, trust: 100, citation: 100, indexed: 3278520318
vk.com - domains: 1145676, backlinks: 3235015237, trust: 90, citation: 85, indexed: 372205938
...

CSV テーブルへの出力​

組み込みユーティリティ $tools.CSVLine を使用すると、Excel や Google スプレッドシートにインポート可能な正しいテーブルドキュメントを作成できます。

結果フォーマット：

[% tools.CSVline(query.orig,domains,trustflow,citationflow,indexed) %]

ファイル名：

$datefile.format().csv

初期テキスト：

ドメイン,参照ドメイン,トラスト,サイテーション,インデックス

結果の例：

ドメイン,参照ドメイン,トラスト,サイテーション,インデックス
a-parser.com,380,12,38,16121
yandex.ru,592182,88,82,92468056
vk.com,1145676,90,85,372205938
facebook.com,28384898,99,99,6743835203
google.com,21134537,100,100,3278520318
ヒント

結果フォーマットには、結果を出力するために Template Toolkit テンプレートエンジン が使用されます。

結果のファイル名で、ファイルの拡張子を csv に変更するだけです。

タスクエディタで「Prepend text」オプションを使用するには、「More options」を有効にする必要があります。 「Prepend text」にカンマ区切りで列名を記入し、2 行目を空行にします。

SQL 形式での保存​

結果フォーマット：

INSERT INTO serp VALUES('$query.orig', '$domains', '$backlinks', '$trustflow', '$citationflow', '$indexed')\n

結果の例：

INSERT INTO serp VALUES('google.com', '21134537', '32206959211', '100', '100', '3278520318')
INSERT INTO serp VALUES('vk.com', '1145676', '3235015237', '90', '85', '372205938')
INSERT INTO serp VALUES('yandex.ru', '592182', '1751277762', '88', '82', '92468056')
INSERT INTO serp VALUES('a-parser.com', '380', '90219', '12', '38', '16121')
INSERT INTO serp VALUES('facebook.com', '28384898', '83357892873', '99', '99', '6743835203')

JSON への結果ダンプ​

共通結果形式:

[% IF notFirst;
  ",\n";
ELSE;
  notFirst = 1;
END;

obj = {};
obj.query = p1.query.orig;
obj.indexed = p1.indexed;
obj.domains = p1.domains;
obj.citationflow = p1.citationflow;
obj.trustflow = p1.trustflow;
obj.backlinks = p1.backlinks;

obj.json %]

開始テキスト:

[

終了テキスト:

]

結果の例：

[
    {"indexed":"372205938","domains":"1145676","citationflow":"85","query":"vk.com","trustflow":"90","backlinks":"3235015237"},
    {"indexed":"92468056","domains":"592182","citationflow":"82","query":"yandex.ru","trustflow":"88","backlinks":"1751277762"},
    {"indexed":"6743835203","domains":"28384898","citationflow":"99","query":"facebook.com","trustflow":"99","backlinks":"83357892873"},
    {"indexed":"3278520318","domains":"21134537","citationflow":"100","query":"google.com","trustflow":"100","backlinks":"32206959211"},
    {"indexed":"16121","domains":"380","citationflow":"38","query":"a-parser.com","trustflow":"12","backlinks":"90219"}
]
ヒント

タスクエディタで「Prepend text」および「Append text」オプションを使用するには、「More options」を有効にする必要があります。

結果の処理​

A-Parser ではスクレイピング中に直接結果を処理できます。このセクションでは、Rank::MajesticSEO スクレイパーで最も一般的なケースを紹介します。

必要なトラスト値を持つドメインの保存​

フィルタを追加し、ドロップダウンリストからチェック値の変数 $trustflow - Trust flow を選択します。タイプ（例：>）を選択します。次に、Number (数値)に必要な値（例：10）を入力します。このフィルタにより、Trust flow の値が 10 未満のすべての結果を除外できます。

フィルタの使用例
サンプルをダウンロード

A-Parser へのサンプルインポート方法

eJx9VFFP20AM/ivRCaRNggoe9lK0SQWt0iagDMpT24cjcbqjl3O4u5RWUf479iW9
tMD21Nr+7LM/f3EtvHQrd2fBgXdiOKtFGf6LobiXZjUc3shncF6lDz8nyWkyVtqD
TWAji1KDOBGltA4sZ84+JlA8g1xW2ouTWvhtCVQW12CtyjhZZWSXFjdbC94qcORb
S10x7PzsTDT/zgruHm0R/f/g6V+LxV6CtxXswfMwFoVpdu6W6tvK+VzjKznb6LSF
/jjokQwsvUJDlgPjRLNY7Kq4MdpCcrHZcZJJL5PvSd1cJMncsDV4qcBuyVeet38H
aNXyYhfNsJDKuDbeGTH4JNOVVmbVhaMZAbH9FhDNCEiVl9x3j9n3RJgyGWwgaxGd
wcHjxVGIPzs087mJzLkHuYYptpRC7ybdwK0smDROBI4O8sDPl68DvyGBCJllihuQ
uiWORdWT+WjUSyDdIGGZMNLLmLbKy4JQILC4I30mjoItqEQVcv+0OWKYS+3gRDhq
dSypkex9RNG6pUc7Caslfy3QjLS+hjXoHhbqX1ZKZ/QFjHJK+tUlfg6ZfKjRxPH2
nyLtvlrqIVYJ1uXkps/K8BqXNHn2RHNrVShPtrvCyrDeWJYrgDJydsucFWghPtNV
7l6n778Ewx9Kv7JR2bsOxjhYy6EzJfmo5aT7+HbIykzpyEzMFfLR4LlMpTWtxcF9
L4+R69bARt/g++Sr8ASPvrsswiNq9/uhbbW0iuT3jRssiMn9V7uSqdT68f56PyJ6
SZEhT9urNkixmJutZNkPbDU3S8Ql6Ta416v2N5cpPCF2luDyHpZIwqPhm0W8kPHE
1p/cyWHd0FKf3V2LZQYYST6i0oXzct68AXxQ/Fc=
ヒント

参照：結果フィルタ

設定可能な項目​

注記

すべてのスクレイパーに共通の設定

パラメータ名デフォルト値説明
Check typeRoot domainクエリに対して何をチェックするか：ルートドメイン (Root domain)、サブドメイン (Subdomain)、正確なアドレス (URL)、またはサイトのセクション (Path)
Util::Turnstile presetdefaultverify ページ用の Util::TurnstileUtil::Turnstile プリセット。default はキャプチャを解決しません。独自のプリセット（サービスキーまたは Auto）が必要です
Turnstile pass proxy☐有効で、かつスクレイパーでプロキシが有効な場合、同じプロキシと User-Agent が Util::TurnstileUtil::Turnstile に渡されます。無効な場合、Turnstile はスクレイパーのプロキシを継承しません
Max browser pages for Turnstile Auto mode10Util::TurnstileUtil::Turnstile で Auto が選択されている場合の、ブラウザの同時ページ数制限
Use sessions☑リクエスト間での Cookie セッション