Rank::MajesticSEO - métricas do Majestic Site Explorer
Visão geral do scraper
O scraper Majestic é um dos scrapers mais procurados por especialistas em SEO, pois permite obter métricas importantes como Trust Flow e Citation Flow. Com a ajuda do scraper automatizado em múltiplas threads Majestic, você pode extrair os seguintes dados: número de domínios de referência, backlinks e páginas indexadas.
A funcionalidade do A-Parser permite salvar as configurações de extração de dados para uso futuro (presets), definir agendamentos de extração de dados e muito mais.
A preservação dos resultados é possível no formato e estrutura que você necessita, graças ao poderoso motor de modelos integrado Template Toolkit, que permite aplicar lógica adicional aos resultados e exibir dados em vários formatos, incluindo JSON, SQL e CSV.
Dados coletados
Os dados são coletados do Majestic
$domains— domínios de referência$backlinks— links externos de entrada$indexed— URLs indexadas$citationflow— fluxo de citação$trustflow— fluxo de confiança- Array
$incoming_langs(idiomas de entrada):$incoming_langs.$i.lang— idioma$incoming_langs.$i.rate— proporção do idioma
- Array
$site_langs(idiomas do site):$site_langs.$i.lang— idioma$site_langs.$i.rate— proporção do idioma
Casos de uso
- Obtenção de informações resumidas sobre um domínio
- Avaliação da quantidade de backlinks e domínios de referência
- Trust Flow / Citation Flow por uma lista de domínios
- Perfil de idioma dos links de entrada e do próprio site
Consultas
Consulta — domínio, URL ou caminho, dependendo do Check type.
| Check type | O que é enviado para o Majestic |
|---|---|
| Root domain | domínio raiz da consulta |
| Subdomain | domínio da consulta |
| URL / Path | consulta como está |
Exemplo de lista de domínios:
a-parser.com
yandex.ru
google.com
vk.com
facebook.com
youtube.com
Opções de exibição de resultados
O A-Parser suporta formatação flexível de resultados graças ao motor de modelos integrado Template Toolkit, o que permite exibir resultados de forma personalizada, bem como estruturada, como CSV ou JSON.
Exportação da lista de resultados
Formato do resultado:
$query - domains: $domains, backlinks: $backlinks, trust: $trustflow, citation: $citationflow, indexed: $indexed\n
O resultado exibe o domínio, número de backlinks, número de endereços IP de referência, trust, citação e páginas indexadas.
Exemplo de resultado:
facebook.com - domains: 28384898, backlinks: 83357892873, trust: 99, citation: 99, indexed: 6743835203
a-parser.com - domains: 380, backlinks: 90219, trust: 12, citation: 38, indexed: 16121
yandex.ru - domains: 592182, backlinks: 1751277762, trust: 88, citation: 82, indexed: 92468056
google.com - domains: 21134537, backlinks: 32206959211, trust: 100, citation: 100, indexed: 3278520318
vk.com - domains: 1145676, backlinks: 3235015237, trust: 90, citation: 85, indexed: 372205938
...
Exibição em tabela CSV
A utilidade integrada $tools.CSVLine permite criar documentos tabulares corretos, prontos para importação no Excel ou Google Sheets.
Formato do resultado:
[% tools.CSVline(query.orig,domains,trustflow,citationflow,indexed) %]
Nome do arquivo:
$datefile.format().csv
Texto inicial:
Domínio,Domínios de Referência,Trust,Citação,Indexação
Exemplo de resultado:
Domínio,Domínios de Referência,Trust,Citação,Indexação
a-parser.com,380,12,38,16121
yandex.ru,592182,88,82,92468056
vk.com,1145676,90,85,372205938
facebook.com,28384898,99,99,6743835203
google.com,21134537,100,100,3278520318
No Formato de resultados, o modelo Template Toolkit é aplicado para a exibição dos resultados.
No nome do arquivo de resultados, basta alterar a extensão do arquivo para csv.
Para que a opção "Prepend text" esteja disponível no Editor de tarefas, é necessário ativar "More options". No "Prepend text", escrevemos os nomes das colunas separados por vírgula e deixamos a segunda linha vazia.
Salvamento em formato SQL
Formato do resultado:
INSERT INTO serp VALUES('$query.orig', '$domains', '$backlinks', '$trustflow', '$citationflow', '$indexed')\n
Exemplo de resultado:
INSERT INTO serp VALUES('google.com', '21134537', '32206959211', '100', '100', '3278520318')
INSERT INTO serp VALUES('vk.com', '1145676', '3235015237', '90', '85', '372205938')
INSERT INTO serp VALUES('yandex.ru', '592182', '1751277762', '88', '82', '92468056')
INSERT INTO serp VALUES('a-parser.com', '380', '90219', '12', '38', '16121')
INSERT INTO serp VALUES('facebook.com', '28384898', '83357892873', '99', '99', '6743835203')
Dump de resultados em JSON
Formato geral do resultado:
[% IF notFirst;
",\n";
ELSE;
notFirst = 1;
END;
obj = {};
obj.query = p1.query.orig;
obj.indexed = p1.indexed;
obj.domains = p1.domains;
obj.citationflow = p1.citationflow;
obj.trustflow = p1.trustflow;
obj.backlinks = p1.backlinks;
obj.json %]
Texto inicial:
[
Texto final:
]
Exemplo de resultado:
[
{"indexed":"372205938","domains":"1145676","citationflow":"85","query":"vk.com","trustflow":"90","backlinks":"3235015237"},
{"indexed":"92468056","domains":"592182","citationflow":"82","query":"yandex.ru","trustflow":"88","backlinks":"1751277762"},
{"indexed":"6743835203","domains":"28384898","citationflow":"99","query":"facebook.com","trustflow":"99","backlinks":"83357892873"},
{"indexed":"3278520318","domains":"21134537","citationflow":"100","query":"google.com","trustflow":"100","backlinks":"32206959211"},
{"indexed":"16121","domains":"380","citationflow":"38","query":"a-parser.com","trustflow":"12","backlinks":"90219"}
]
Para que as opções "Prepend text" e "Append text" estejam disponíveis no Editor de tarefas, é necessário ativar "More options".
Processamento de resultados
O A-Parser permite processar os resultados diretamente durante a extração de dados; nesta seção, apresentamos os casos mais populares para o scraper Rank::MajesticSEO.
Salvamento de domínios com o trust desejado
Adicione um filtro e, na lista suspensa, selecione a variável de valor de verificação $trustflow - Trust flow. Escolha o tipo, por exemplo: >. Em seguida, em Number (Número), insira o valor que você precisa 10. Com este filtro, você poderá remover todos os resultados com valor de Trust flow menor que 10.
Baixar exemplo
Como importar um exemplo para o A-Parser
eJx9VFFP20AM/ivRCaRNggoe9lK0SQWt0iagDMpT24cjcbqjl3O4u5RWUf479iW9
tMD21Nr+7LM/f3EtvHQrd2fBgXdiOKtFGf6LobiXZjUc3shncF6lDz8nyWkyVtqD
TWAji1KDOBGltA4sZ84+JlA8g1xW2ouTWvhtCVQW12CtyjhZZWSXFjdbC94qcORb
S10x7PzsTDT/zgruHm0R/f/g6V+LxV6CtxXswfMwFoVpdu6W6tvK+VzjKznb6LSF
/jjokQwsvUJDlgPjRLNY7Kq4MdpCcrHZcZJJL5PvSd1cJMncsDV4qcBuyVeet38H
aNXyYhfNsJDKuDbeGTH4JNOVVmbVhaMZAbH9FhDNCEiVl9x3j9n3RJgyGWwgaxGd
wcHjxVGIPzs087mJzLkHuYYptpRC7ybdwK0smDROBI4O8sDPl68DvyGBCJllihuQ
uiWORdWT+WjUSyDdIGGZMNLLmLbKy4JQILC4I30mjoItqEQVcv+0OWKYS+3gRDhq
dSypkex9RNG6pUc7Caslfy3QjLS+hjXoHhbqX1ZKZ/QFjHJK+tUlfg6ZfKjRxPH2
nyLtvlrqIVYJ1uXkps/K8BqXNHn2RHNrVShPtrvCyrDeWJYrgDJydsucFWghPtNV
7l6n778Ewx9Kv7JR2bsOxjhYy6EzJfmo5aT7+HbIykzpyEzMFfLR4LlMpTWtxcF9
L4+R69bARt/g++Sr8ASPvrsswiNq9/uhbbW0iuT3jRssiMn9V7uSqdT68f56PyJ6
SZEhT9urNkixmJutZNkPbDU3S8Ql6Ta416v2N5cpPCF2luDyHpZIwqPhm0W8kPHE
1p/cyWHd0FKf3V2LZQYYST6i0oXzct68AXxQ/Fc=
Veja também: Filtros de resultados
Configurações possíveis
| Nome do parâmetro | Valor padrão | Descrição |
|---|---|---|
| Check type | Root domain | O que verificar por consulta: domínio raiz (Root domain), subdomínio (Subdomain), endereço exato (URL) ou seção do site (Path) |
| Util::Turnstile preset | default | Preset do  Util::Turnstile para a página verify. default não resolve o captcha — é necessário um preset próprio (chave do serviço ou Auto) |
| Turnstile pass proxy | ☐ | Se ativado e os proxies estiverem ativados no scraper — os mesmos proxies e User-Agent são enviados para o Util::Turnstile. Caso contrário, o Turnstile não herda os proxies do scraper |
| Max browser pages for Turnstile Auto mode | 10 | Limite de páginas simultâneas do navegador, se Auto estiver selecionado no Util::Turnstile |
| Use sessions | ☑ | Sessões de cookies entre requisições |