Rank::MajesticSEO - Scraper de contagem de backlinks do serviço majesticseo.com
Visão geral do scraper
O scraper Majestic é um dos scrapers mais procurados por especialistas em SEO, pois permite obter métricas importantes como Trust Flow e Citation Flow. Com a ajuda do scraper automatizado em múltiplas threads Majestic, você pode extrair os seguintes dados: número de domínios de referência, backlinks e páginas indexadas.
A funcionalidade do A-Parser permite salvar as configurações de extração de dados para uso futuro (presets), definir agendamentos de extração de dados e muito mais.
Graças ao processamento em múltiplas threads do A-Parser, a velocidade de processamento de consultas pode atingir 100 consultas por minuto usando apenas 50 threads.
A preservação dos resultados é possível no formato e estrutura que você necessita, graças ao poderoso motor de modelos integrado Template Toolkit, que permite aplicar lógica adicional aos resultados e exibir dados em vários formatos, incluindo JSON, SQL e CSV.
Dados coletados
Os dados são coletados do serviço www.majesticseo.com
- Número de domínios de referência
- Número de backlinks
- Número de páginas indexadas
- Métricas de Trust Flow e Citation Flow
Casos de uso
- Obtenção de informações resumidas sobre um domínio
- Avaliação da quantidade de backlinks
- Avaliação do tráfego no domínio
Consultas
Como consultas, é necessário indicar uma lista de domínios, por exemplo:
a-parser.com
yandex.ru
google.com
vk.com
facebook.com
youtube.com
Opções de exibição de resultados
O A-Parser suporta formatação flexível de resultados graças ao motor de modelos integrado Template Toolkit, o que permite exibir resultados de forma personalizada, bem como estruturada, como CSV ou JSON.
Exportação da lista de resultados
Formato do resultado:
$query - domains: $domains, backlinks: $backlinks, trust: $trustflow, citation: $citationflow, indexed: $indexed\n
O resultado exibe o domínio, número de backlinks, número de endereços IP de referência, trust, citação e páginas indexadas.
Exemplo de resultado:
facebook.com - domains: 28384898, backlinks: 83357892873, trust: 99, citation: 99, indexed: 6743835203
a-parser.com - domains: 380, backlinks: 90219, trust: 12, citation: 38, indexed: 16121
yandex.ru - domains: 592182, backlinks: 1751277762, trust: 88, citation: 82, indexed: 92468056
google.com - domains: 21134537, backlinks: 32206959211, trust: 100, citation: 100, indexed: 3278520318
vk.com - domains: 1145676, backlinks: 3235015237, trust: 90, citation: 85, indexed: 372205938
...
Exibição em tabela CSV
A utilidade integrada $tools.CSVLine permite criar documentos tabulares corretos, prontos para importação no Excel ou Google Sheets.
Formato do resultado:
[% tools.CSVline(query.orig,domains,trustflow,citationflow,indexed) %]
Nome do arquivo:
$datefile.format().csv
Texto inicial:
Domínio,Domínios de Referência,Trust,Citação,Indexação
Exemplo de resultado:
Domínio,Domínios de Referência,Trust,Citação,Indexação
a-parser.com,380,12,38,16121
yandex.ru,592182,88,82,92468056
vk.com,1145676,90,85,372205938
facebook.com,28384898,99,99,6743835203
google.com,21134537,100,100,3278520318
No Formato de resultados, o modelo Template Toolkit é aplicado para a exibição dos resultados.
No nome do arquivo de resultados, basta alterar a extensão do arquivo para csv.
Para que a opção "Prepend text" esteja disponível no Editor de tarefas, é necessário ativar "More options". No "Prepend text", escrevemos os nomes das colunas separados por vírgula e deixamos a segunda linha vazia.
Salvamento em formato SQL
Formato do resultado:
INSERT INTO serp VALUES('$query.orig', '$domains', '$backlinks', '$trustflow', '$citationflow', '$indexed')\n
Exemplo de resultado:
INSERT INTO serp VALUES('google.com', '21134537', '32206959211', '100', '100', '3278520318')
INSERT INTO serp VALUES('vk.com', '1145676', '3235015237', '90', '85', '372205938')
INSERT INTO serp VALUES('yandex.ru', '592182', '1751277762', '88', '82', '92468056')
INSERT INTO serp VALUES('a-parser.com', '380', '90219', '12', '38', '16121')
INSERT INTO serp VALUES('facebook.com', '28384898', '83357892873', '99', '99', '6743835203')
Dump de resultados em JSON
Formato geral do resultado:
[% IF notFirst;
",\n";
ELSE;
notFirst = 1;
END;
obj = {};
obj.query = p1.query.orig;
obj.indexed = p1.indexed;
obj.domains = p1.domains;
obj.citationflow = p1.citationflow;
obj.trustflow = p1.trustflow;
obj.backlinks = p1.backlinks;
obj.json %]
Texto inicial:
[
Texto final:
]
Exemplo de resultado:
[
{"indexed":"372205938","domains":"1145676","citationflow":"85","query":"vk.com","trustflow":"90","backlinks":"3235015237"},
{"indexed":"92468056","domains":"592182","citationflow":"82","query":"yandex.ru","trustflow":"88","backlinks":"1751277762"},
{"indexed":"6743835203","domains":"28384898","citationflow":"99","query":"facebook.com","trustflow":"99","backlinks":"83357892873"},
{"indexed":"3278520318","domains":"21134537","citationflow":"100","query":"google.com","trustflow":"100","backlinks":"32206959211"},
{"indexed":"16121","domains":"380","citationflow":"38","query":"a-parser.com","trustflow":"12","backlinks":"90219"}
]
Para que as opções "Prepend text" e "Append text" estejam disponíveis no Editor de tarefas, é necessário ativar "More options".
Processamento de resultados
O A-Parser permite processar os resultados diretamente durante a extração de dados; nesta seção, apresentamos os casos mais populares para o scraper Rank::MajesticSEO.
Salvamento de domínios com o trust desejado
Adicione um filtro e, na lista suspensa, selecione a variável de valor de verificação $trustflow - Trust flow. Escolha o tipo, por exemplo: >. Em seguida, em Number (Número), insira o valor que você precisa 10. Com este filtro, você poderá remover todos os resultados com valor de Trust flow menor que 10.
Baixar exemplo
Como importar um exemplo para o A-Parser
eJx9VFFP20AM/ivRCaRNggoe9lK0SQWt0iagDMpT24cjcbqjl3O4u5RWUf479iW9
tMD21Nr+7LM/f3EtvHQrd2fBgXdiOKtFGf6LobiXZjUc3shncF6lDz8nyWkyVtqD
TWAji1KDOBGltA4sZ84+JlA8g1xW2ouTWvhtCVQW12CtyjhZZWSXFjdbC94qcORb
S10x7PzsTDT/zgruHm0R/f/g6V+LxV6CtxXswfMwFoVpdu6W6tvK+VzjKznb6LSF
/jjokQwsvUJDlgPjRLNY7Kq4MdpCcrHZcZJJL5PvSd1cJMncsDV4qcBuyVeet38H
aNXyYhfNsJDKuDbeGTH4JNOVVmbVhaMZAbH9FhDNCEiVl9x3j9n3RJgyGWwgaxGd
wcHjxVGIPzs087mJzLkHuYYptpRC7ybdwK0smDROBI4O8sDPl68DvyGBCJllihuQ
uiWORdWT+WjUSyDdIGGZMNLLmLbKy4JQILC4I30mjoItqEQVcv+0OWKYS+3gRDhq
dSypkex9RNG6pUc7Caslfy3QjLS+hjXoHhbqX1ZKZ/QFjHJK+tUlfg6ZfKjRxPH2
nyLtvlrqIVYJ1uXkps/K8BqXNHn2RHNrVShPtrvCyrDeWJYrgDJydsucFWghPtNV
7l6n778Ewx9Kv7JR2bsOxjhYy6EzJfmo5aT7+HbIykzpyEzMFfLR4LlMpTWtxcF9
L4+R69bARt/g++Sr8ASPvrsswiNq9/uhbbW0iuT3jRssiMn9V7uSqdT68f56PyJ6
SZEhT9urNkixmJutZNkPbDU3S8Ql6Ta416v2N5cpPCF2luDyHpZIwqPhm0W8kPHE
1p/cyWHd0FKf3V2LZQYYST6i0oXzct68AXxQ/Fc=
Veja também: Filtros de resultados
Configurações possíveis
| Nome do parâmetro | Valor padrão | Descrição |
|---|---|---|
| Check type | Root domain | Permite escolher o tipo de verificação: Root Domain / Subdomain / URL |
| Use Chrome (Slow) | ☐ | Indica o uso do navegador Chrome para todas as consultas |
| Use Headless mode for Chrome | ☑ | Usar o modo Headless para consultas via navegador |
| Use Stealth mode for Chrome | ☐ | Mascarar o uso do navegador em consultas via navegador |
| Use HTTP2 for requests without Chrome | ☐ | Usar HTTP/2 para consultas sem navegador |
| Emulate browser headers for requests without Chrome | ☐ | Emular cabeçalhos de navegador em consultas sem navegador |
| User-agent for requests without Chrome | [% tools.ua.random() %] | Sobrescrita do User-Agent para consultas sem navegador |
| Additional headers for requests without Chrome | Accept, Accept-Encoding, Accept-Language | Permite definir cabeçalhos para consultas sem navegador. Funciona de forma análoga ao Additional headers no  Net::HTTP. |