Rank::MajesticSEO - Парсер количества бек-линков с сервиса majesticseo.com
Обзор парсера
Парсер Majestic один из самых востребоватльных парсеров для SEO специалистов так как позволяет получиать такие важные показатели как Trust Flow и Citation Flow. С помощью автоматизированного многопоточного парсера Majestic вы можете парсить такие данные: количество ссылающихся доменов, бек-линков, проиндексированных страниц.
Функционал A-Parser позволяет сохранять настройки парсинга для дальнейшего использования (пресеты), задавать расписание парсинга и многое другое.
Благодаря многопоточной работе A-Parser'a, скорость обработки запросов может достигать 100 запросов в минуту используя всего 50 потоков.
Сохранение результатов возможно в том виде и структуре которая вам необходима, благодаря встроенному мощному шаблонизатору Template Toolkit который позволяет применять дополнительную логику к результатам и выводить данные в различных форматах, включая JSON, SQL и CSV.
Собираемые данные
Данные собираются с сервиса www.majesticseo.com
- Количество ссылающихся доменов
- Количество бек-линков
- Количество проиндексированных страниц
- Показатели Trust Flow и Citation Flow
Варианты использования
- Получение суммарной информации о домене
- Оценка количества обратных ссылок
- Оценка трафика на домене
Запросы
В качестве запросов необходимо указывать список доменов, например:
a-parser.com
yandex.ru
google.com
vk.com
facebook.com
youtube.com
Варианты вывода результатов
A-Parser поддерживает гибкое форматирование результатов благодаря встроенному шаблонизатору Template Toolkit, что позволяет ему выводить результаты в произвольной форме, а также в структуированной, например CSV или JSON
Экспорт списка результатов
Формат результата:
$query - domains: $domains, backlinks: $backlinks, trust: $trustflow, citation: $citationflow, indexed: $indexed\n
В результате отображен домен, количество бек-линков, количество ссылающихся ip адресов, траст, цитирование, проиндексированных страниц.
Пример результата:
facebook.com - domains: 28384898, backlinks: 83357892873, trust: 99, citation: 99, indexed: 6743835203
a-parser.com - domains: 380, backlinks: 90219, trust: 12, citation: 38, indexed: 16121
yandex.ru - domains: 592182, backlinks: 1751277762, trust: 88, citation: 82, indexed: 92468056
google.com - domains: 21134537, backlinks: 32206959211, trust: 100, citation: 100, indexed: 3278520318
vk.com - domains: 1145676, backlinks: 3235015237, trust: 90, citation: 85, indexed: 372205938
...
Вывод в таблицу CSV
Встроенная утилита $tools.CSVLine позволяет создавать корректные табличные документы, готовые для импорта в Excel или Google Таблицы.
Формат результата:
[% tools.CSVline(query.orig,domains,trustflow,citationflow,indexed) %]
Имя файла:
$datefile.format().csv
Начальный текст:
Домен,Ссылающиеся домены,Траст,Цитирование,Индексация
Пример результата:
Домен,Ссылающиеся домены,Траст,Цитирование,Индексация
a-parser.com,380,12,38,16121
yandex.ru,592182,88,82,92468056
vk.com,1145676,90,85,372205938
facebook.com,28384898,99,99,6743835203
google.com,21134537,100,100,3278520318
В Формате результатов применяется шаблонизатор Template Toolkit для вывода результатов.
В имени файла результатов нужно просто изменить разрешение файла на csv.
Чтобы опция "Начальный текст" была доступна в Редакторе заданий, нужно активировать "Больше опций". В "Начальный текст" записываем названия столбцов через запятую и второй строку делаем пустой.
Сохранение в формате SQL
Формат результата:
INSERT INTO serp VALUES('$query.orig', '$domains', '$backlinks', '$trustflow', '$citationflow', '$indexed')\n
Пример результата:
INSERT INTO serp VALUES('google.com', '21134537', '32206959211', '100', '100', '3278520318')
INSERT INTO serp VALUES('vk.com', '1145676', '3235015237', '90', '85', '372205938')
INSERT INTO serp VALUES('yandex.ru', '592182', '1751277762', '88', '82', '92468056')
INSERT INTO serp VALUES('a-parser.com', '380', '90219', '12', '38', '16121')
INSERT INTO serp VALUES('facebook.com', '28384898', '83357892873', '99', '99', '6743835203')
Дамп результатов в JSON
Общий формат результата:
[% IF notFirst;
",\n";
ELSE;
notFirst = 1;
END;
obj = {};
obj.query = p1.query.orig;
obj.indexed = p1.indexed;
obj.domains = p1.domains;
obj.citationflow = p1.citationflow;
obj.trustflow = p1.trustflow;
obj.backlinks = p1.backlinks;
obj.json %]
Начальный текст:
[
Конечный текст:
]
Пример результата:
[
{"indexed":"372205938","domains":"1145676","citationflow":"85","query":"vk.com","trustflow":"90","backlinks":"3235015237"},
{"indexed":"92468056","domains":"592182","citationflow":"82","query":"yandex.ru","trustflow":"88","backlinks":"1751277762"},
{"indexed":"6743835203","domains":"28384898","citationflow":"99","query":"facebook.com","trustflow":"99","backlinks":"83357892873"},
{"indexed":"3278520318","domains":"21134537","citationflow":"100","query":"google.com","trustflow":"100","backlinks":"32206959211"},
{"indexed":"16121","domains":"380","citationflow":"38","query":"a-parser.com","trustflow":"12","backlinks":"90219"}
]
Чтобы опции "Начальный текст" и "Конечный текст" были доступны в Редакторе заданий, нужно активировать "Больше опций".
Обработка результатов
A-Parser позволяет обрабатывать результаты непосредственно во время парсинга, в этом разделе мы привели наиболее популярные кейсы для парсера Rank::MajesticSEO
Сохранение доменов с нужным трастом
Добавить фильтр и в выпадающем списке выбрать переменную значения проверки $trustflow - Trust flow. Выбрать тип, например: >. Далее нужно в Число прописать значение которое нам нужно 10. Таким фильтром вы сможете убрать все результаты с значением Trust flow меньше 10.
Скачать пример
Как импортировать пример в А-Парсер
eJx9VFFP20AM/ivRCaRNggoe9lK0SQWt0iagDMpT24cjcbqjl3O4u5RWUf479iW9
tMD21Nr+7LM/f3EtvHQrd2fBgXdiOKtFGf6LobiXZjUc3shncF6lDz8nyWkyVtqD
TWAji1KDOBGltA4sZ84+JlA8g1xW2ouTWvhtCVQW12CtyjhZZWSXFjdbC94qcORb
S10x7PzsTDT/zgruHm0R/f/g6V+LxV6CtxXswfMwFoVpdu6W6tvK+VzjKznb6LSF
/jjokQwsvUJDlgPjRLNY7Kq4MdpCcrHZcZJJL5PvSd1cJMncsDV4qcBuyVeet38H
aNXyYhfNsJDKuDbeGTH4JNOVVmbVhaMZAbH9FhDNCEiVl9x3j9n3RJgyGWwgaxGd
wcHjxVGIPzs087mJzLkHuYYptpRC7ybdwK0smDROBI4O8sDPl68DvyGBCJllihuQ
uiWORdWT+WjUSyDdIGGZMNLLmLbKy4JQILC4I30mjoItqEQVcv+0OWKYS+3gRDhq
dSypkex9RNG6pUc7Caslfy3QjLS+hjXoHhbqX1ZKZ/QFjHJK+tUlfg6ZfKjRxPH2
nyLtvlrqIVYJ1uXkps/K8BqXNHn2RHNrVShPtrvCyrDeWJYrgDJydsucFWghPtNV
7l6n778Ewx9Kv7JR2bsOxjhYy6EzJfmo5aT7+HbIykzpyEzMFfLR4LlMpTWtxcF9
L4+R69bARt/g++Sr8ASPvrsswiNq9/uhbbW0iuT3jRssiMn9V7uSqdT68f56PyJ6
SZEhT9urNkixmJutZNkPbDU3S8Ql6Ta416v2N5cpPCF2luDyHpZIwqPhm0W8kPHE
1p/cyWHd0FKf3V2LZQYYST6i0oXzct68AXxQ/Fc=
Смотреть также: Фильтры результатов
Возможные настройки
| Название параметра | Значение по умолчанию | Описание |
|---|---|---|
| Check type | Root domain | Позволяет выбрать тип проверки: Root Domain / Subdomain / URL |
| Use Chrome (Slow) | ☐ | Указывает использовать браузер Chrome для всех запросов |
| Use Headless mode for Chrome | ☑ | Использовать Headless режим для запросов через браузер |
| Use Stealth mode for Chrome | ☐ | Маскировать использование браузера при запросах через браузер |
| Use HTTP2 for requests without Chrome | ☐ | Использовать HTTP/2 для запросов без браузера |
| Emulate browser headers for requests without Chrome | ☐ | Эмулировать заголовки браузера при запросах без браузера |
| User-agent for requests without Chrome | [% tools.ua.random() %] | Переопределение юзер-агента для запросов без браузера |
| Additional headers for requests without Chrome | Accept, Accept-Encoding, Accept-Language | Позволяет задать заголовки для запросов без браузера. Работает аналогично Additional headers в  Net::HTTP. |