Перейти к основному содержимому

Rank::MajesticSEO - метрики Majestic Site Explorer

Обзор парсера​

Парсер Majestic один из самых востребованных парсеров для SEO специалистов так как позволяет получать такие важные показатели как Trust Flow и Citation Flow. С помощью автоматизированного многопоточного парсера Majestic вы можете парсить такие данные: количество ссылающихся доменов, бек-линков, проиндексированных страниц.

Функционал A-Parser позволяет сохранять настройки парсинга для дальнейшего использования (пресеты), задавать расписание парсинга и многое другое.

Обзор парсера: скорость работы

Сохранение результатов возможно в том виде и структуре которая вам необходима, благодаря встроенному мощному шаблонизатору Template Toolkit который позволяет применять дополнительную логику к результатам и выводить данные в различных форматах, включая JSON, SQL и CSV.

Собираемые данные​

Данные собираются с Majestic

  • $domains — ссылающиеся домены
  • $backlinks — внешние обратные ссылки
  • $indexed — проиндексированные URL
  • $citationflow — поток цитирования
  • $trustflow — поток доверия
  • Массив $incoming_langs (входящие языки):
    • $incoming_langs.$i.lang — язык
    • $incoming_langs.$i.rate — доля языка
  • Массив $site_langs (языки сайта):
    • $site_langs.$i.lang — язык
    • $site_langs.$i.rate — доля языка
Собираемые данные

Варианты использования​

  • Получение суммарной информации о домене
  • Оценка количества обратных ссылок и referring domains
  • Trust Flow / Citation Flow по списку доменов
  • Языковой профиль входящих ссылок и самого сайта

Запросы​

Запрос — домен, URL или путь, в зависимости от Check type.

Check typeЧто уходит в Majestic
Root domainкорневой домен из query
Subdomainдомен из query
URL / Pathquery как есть

Пример списка доменов:

a-parser.com  
yandex.ru  
google.com  
vk.com  
facebook.com  
youtube.com

Варианты вывода результатов​

A-Parser поддерживает гибкое форматирование результатов благодаря встроенному шаблонизатору Template Toolkit, что позволяет ему выводить результаты в произвольной форме, а также в структуированной, например CSV или JSON

Экспорт списка результатов​

Формат результата:

$query - domains: $domains, backlinks: $backlinks, trust: $trustflow, citation: $citationflow, indexed: $indexed\n

В результате отображен домен, количество бек-линков, количество ссылающихся ip адресов, траст, цитирование, проиндексированных страниц.

Пример результата:

facebook.com - domains: 28384898, backlinks: 83357892873, trust: 99, citation: 99, indexed: 6743835203
a-parser.com - domains: 380, backlinks: 90219, trust: 12, citation: 38, indexed: 16121
yandex.ru - domains: 592182, backlinks: 1751277762, trust: 88, citation: 82, indexed: 92468056
google.com - domains: 21134537, backlinks: 32206959211, trust: 100, citation: 100, indexed: 3278520318
vk.com - domains: 1145676, backlinks: 3235015237, trust: 90, citation: 85, indexed: 372205938
...

Вывод в таблицу CSV​

Встроенная утилита $tools.CSVLine позволяет создавать корректные табличные документы, готовые для импорта в Excel или Google Таблицы.

Формат результата:

[% tools.CSVline(query.orig,domains,trustflow,citationflow,indexed) %]

Имя файла:

$datefile.format().csv

Начальный текст:

Домен,Ссылающиеся домены,Траст,Цитирование,Индексация

Пример результата:

Домен,Ссылающиеся домены,Траст,Цитирование,Индексация
a-parser.com,380,12,38,16121
yandex.ru,592182,88,82,92468056
vk.com,1145676,90,85,372205938
facebook.com,28384898,99,99,6743835203
google.com,21134537,100,100,3278520318
подсказка

В Формате результатов применяется шаблонизатор Template Toolkit для вывода результатов.

В имени файла результатов нужно просто изменить разрешение файла на csv.

Чтобы опция "Начальный текст" была доступна в Редакторе заданий, нужно активировать "Больше опций". В "Начальный текст" записываем названия столбцов через запятую и второй строку делаем пустой.

Сохранение в формате SQL​

Формат результата:

INSERT INTO serp VALUES('$query.orig', '$domains', '$backlinks', '$trustflow', '$citationflow', '$indexed')\n

Пример результата:

INSERT INTO serp VALUES('google.com', '21134537', '32206959211', '100', '100', '3278520318')
INSERT INTO serp VALUES('vk.com', '1145676', '3235015237', '90', '85', '372205938')
INSERT INTO serp VALUES('yandex.ru', '592182', '1751277762', '88', '82', '92468056')
INSERT INTO serp VALUES('a-parser.com', '380', '90219', '12', '38', '16121')
INSERT INTO serp VALUES('facebook.com', '28384898', '83357892873', '99', '99', '6743835203')

Дамп результатов в JSON​

Общий формат результата:

[% IF notFirst;
  ",\n";
ELSE;
  notFirst = 1;
END;

obj = {};
obj.query = p1.query.orig;
obj.indexed = p1.indexed;
obj.domains = p1.domains;
obj.citationflow = p1.citationflow;
obj.trustflow = p1.trustflow;
obj.backlinks = p1.backlinks;

obj.json %]

Начальный текст:

[

Конечный текст:

]

Пример результата:

[
    {"indexed":"372205938","domains":"1145676","citationflow":"85","query":"vk.com","trustflow":"90","backlinks":"3235015237"},
    {"indexed":"92468056","domains":"592182","citationflow":"82","query":"yandex.ru","trustflow":"88","backlinks":"1751277762"},
    {"indexed":"6743835203","domains":"28384898","citationflow":"99","query":"facebook.com","trustflow":"99","backlinks":"83357892873"},
    {"indexed":"3278520318","domains":"21134537","citationflow":"100","query":"google.com","trustflow":"100","backlinks":"32206959211"},
    {"indexed":"16121","domains":"380","citationflow":"38","query":"a-parser.com","trustflow":"12","backlinks":"90219"}
]
подсказка

Чтобы опции "Начальный текст" и "Конечный текст" были доступны в Редакторе заданий, нужно активировать "Больше опций".

Обработка результатов​

A-Parser позволяет обрабатывать результаты непосредственно во время парсинга, в этом разделе мы привели наиболее популярные кейсы для парсера Rank::MajesticSEO

Сохранение доменов с нужным трастом​

Добавить фильтр и в выпадающем списке выбрать переменную значения проверки $trustflow - Trust flow. Выбрать тип, например: >. Далее нужно в Число прописать значение которое нам нужно 10. Таким фильтром вы сможете убрать все результаты с значением Trust flow меньше 10.

Пример использования фильтра
Скачать пример

Как импортировать пример в А-Парсер

eJx9VFFP20AM/ivRCaRNggoe9lK0SQWt0iagDMpT24cjcbqjl3O4u5RWUf479iW9
tMD21Nr+7LM/f3EtvHQrd2fBgXdiOKtFGf6LobiXZjUc3shncF6lDz8nyWkyVtqD
TWAji1KDOBGltA4sZ84+JlA8g1xW2ouTWvhtCVQW12CtyjhZZWSXFjdbC94qcORb
S10x7PzsTDT/zgruHm0R/f/g6V+LxV6CtxXswfMwFoVpdu6W6tvK+VzjKznb6LSF
/jjokQwsvUJDlgPjRLNY7Kq4MdpCcrHZcZJJL5PvSd1cJMncsDV4qcBuyVeet38H
aNXyYhfNsJDKuDbeGTH4JNOVVmbVhaMZAbH9FhDNCEiVl9x3j9n3RJgyGWwgaxGd
wcHjxVGIPzs087mJzLkHuYYptpRC7ybdwK0smDROBI4O8sDPl68DvyGBCJllihuQ
uiWORdWT+WjUSyDdIGGZMNLLmLbKy4JQILC4I30mjoItqEQVcv+0OWKYS+3gRDhq
dSypkex9RNG6pUc7Caslfy3QjLS+hjXoHhbqX1ZKZ/QFjHJK+tUlfg6ZfKjRxPH2
nyLtvlrqIVYJ1uXkps/K8BqXNHn2RHNrVShPtrvCyrDeWJYrgDJydsucFWghPtNV
7l6n778Ewx9Kv7JR2bsOxjhYy6EzJfmo5aT7+HbIykzpyEzMFfLR4LlMpTWtxcF9
L4+R69bARt/g++Sr8ASPvrsswiNq9/uhbbW0iuT3jRssiMn9V7uSqdT68f56PyJ6
SZEhT9urNkixmJutZNkPbDU3S8Ql6Ta416v2N5cpPCF2luDyHpZIwqPhm0W8kPHE
1p/cyWHd0FKf3V2LZQYYST6i0oXzct68AXxQ/Fc=
подсказка

Смотреть также: Фильтры результатов

Возможные настройки​

примечание

Общие настройки для всех парсеров

Название параметраЗначение по умолчаниюОписание
Check typeRoot domainЧто проверять по запросу: корневой домен (Root domain), поддомен (Subdomain), точный адрес (URL) или раздел сайта (Path)
Util::Turnstile presetdefaultПресет Util::TurnstileUtil::Turnstile для страницы verify. default капчу не решает — нужен свой пресет (ключ сервиса или Auto)
Turnstile pass proxy☐Если включено и у парсера включены прокси — те же прокси и User-Agent уходят в Util::TurnstileUtil::Turnstile. Иначе Turnstile свои прокси парсера не наследует
Max browser pages for Turnstile Auto mode10Лимит одновременных страниц браузера, если в Util::TurnstileUtil::Turnstile выбран Auto
Use sessions☑Cookie-сессии между запросами