Pular para o conteúdo principal

Rank::Ahrefs - Scraper Ahrefs Backlink Checker

Visão geral do scraper

Visão geral do scraper​

O scraper Ahrefs é uma das ferramentas mais populares para especialistas em SEO, para tarefas de pesquisa de backlinks, estimativa de tráfego e análise de consultas de pesquisa de concorrentes. Graças a ele, você pode obter informações completas sobre o rating do domínio, o número de backlinks e domínios de referência. Usando o scraper Ahrefs, você pode realizar análise em massa de concorrentes com processamento em múltiplas threads.

A preservação dos resultados é possível no formato e estrutura que você necessita, graças ao poderoso modelo de template integrado Template Toolkit que permite aplicar lógica adicional aos resultados e exibir dados em vários formatos, incluindo JSON, SQL e CSV.

Dados coletados​

Os dados são coletados da página https://ahrefs.com/ru/backlink-checker.

Para o funcionamento, é necessária a conexão de um serviço de resolução de recaptcha Util::TurnstileUtil::Turnstile.

  • Rating do domínio e do URL
  • Quantidade de backlinks e porcentagem de dofollow backlinks
  • Quantidade de domínios de referência e porcentagem de dofollow entre eles
  • Lista dos TOP100 backlinks
    • Link para a página
    • Title da página
    • DR
    • Url
    • Anchor do link
    • Código de redirecionamento
    • Array de objetos JSON com dados sobre redirecionamentos
Dados coletados

Casos de uso​

  • Obtenção de informações resumidas sobre o domínio
  • Estimativa da quantidade de backlinks
  • Avaliação de domínio

Consultas​

Como consultas, é necessário indicar uma lista de domínios, por exemplo:

a-parser.com
yandex.ru
google.com
vk.com
facebook.com
youtube.com

Opções de exibição de resultados​

O A-Parser suporta formatação flexível de resultados graças ao modelo de template integrado Template Toolkit, o que permite exibir resultados em forma arbitrária, bem como estruturada, por exemplo CSV ou JSON

Exibição padrão​

Formato do resultado:

$query: $rating\n

Como resultado, o domínio e seu rating serão exibidos:

a-parser.com: 39
yandex.ru: 94
vk.com: 95
facebook.com: 100
youtube.com: 99
google.com: 98

Exibição dos principais dados do domínio​

Formato do resultado:

$query, $url_rating $rating, $bl, $bl_dofollow, $domains, $domains_dofollow

Exemplo de resultado:

a-parser.com, 21, 35, 218702, 96, 569, 53

Formato do resultado:

[% FOREACH backlink IN backlinks;
   tools.CSVline(backlink.page,backlink.title,backlink.dr,backlink.url,backlink.anchor,backlink.redirect_code);
END %]

Exemplo de resultado:

https://in-scale.ru/blog/rassylka-telegram/,"Envio em massa no Telegram - como fazer em massa + 9 melhores programas",54,https://a-parser.com/?ref=21341,A-Parser,0
https://coba.tools/seo/monitoring-pozitsiy,"Serviços online e programas para verificação de posições de sites na busca",31,https://a-parser.com/,"Ir para o site",0
https://pricecontrol.biz/9-prepyatstvij-pri-parsinge-sajtov/,"Extração de preços de concorrentes 2023 por Price Control",16,https://a-parser.com/,https://a-parser.com/,0
https://www.unisender.com/ru/blog/idei/parsery-dlya-sbora-dannyh-s-sajtov/,"Como coletar dados de sites rapidamente",76,https://a-parser.com/,A-Parser,0
https://www.ashmanov.com/education/articles/poiskovye-podskazki-yandeks/,"Promoção de site com sugestões no Yandex",68,https://a-parser.com/parsers/,A-parser,0
https://www.calltouch.ru/blog/luchshie-servisy-i-boty-dlya-parsinga-telegram/,"Scraper de canal do Telegram: visão geral dos melhores serviços e bots para coleta e processamento de dados de chats, posts e usuários | Calltouch.Blog",72,https://a-parser.com/parsers/,A-Parser,0
https://seonomad.net/ru/seotools/tekst-ru,"Text Ru. Descrição, avaliações, análogos",24,https://a-parser.com/?ref=29414,A-parser,0
dica

No Formato de resultados é aplicado o modelo de template Template Toolkit para exibir elementos do array $backlinks no ciclo FOREACH.

Dump de resultados em JSON​

Formato geral do resultado:

[% IF notFirst;
  ",\n";
ELSE;
  notFirst = 1;
END;

obj = {};
obj.items = [];

FOREACH item IN p1.backlinks;
    obj.items.push({
        dr = item.dr
        page = item.page
        title = item.title
    });
END;

obj.json %]

Texto inicial:

[

Texto final:

]

Exemplo de resultado:

[{
    "items": [
        {
            "page": "https://forum.compucoin.org/showthread.php?tid=612923&pid=1137290",
            "dr": 34,
            "title": "GypeKetarert wsvpz"
        },
        {
            "page": "https://forum.compucoin.org/showthread.php?tid=612923&pid=1137290",
            "dr": 34,
            "title": "GypeKetarert wsvpz"
        },
        {  
            "page": "https://forum.compucoin.org/showthread.php?tid=612923&pid=1137290",
            "dr": 34,
            "title": "GypeKetarert wsvpz"
        },
        {
            "page": "https://forum.compucoin.org/showthread.php?tid=612923&pid=1137290",
            "dr": 34,
            "title": "GypeKetarert wsvpz"
        }
    ]
}]
dica

Para que as opções "Prepend text" e "Append text" estejam disponíveis no Editor de tarefas, é necessário ativar "More options".

Configurações possíveis​

nota

Configurações comuns para todos os scrapers

ParâmetroValor padrãoDescrição
Util::Turnstile presetdefaultEscolha do preset Util::TurnstileUtil::Turnstile para contornar captchas. É necessário configurar previamente o scraper Util::TurnstileUtil::Turnstile - indicar sua chave de acesso e outros parâmetros, e depois selecionar o preset criado aqui.
Turnstile pass proxy☐Envio de proxy para o serviço de resolução. Saiba mais.
Do not search for sitekey☑Opção experimental, desativa a busca pelo sitekey do captcha, o que por sua vez acelera o início da tarefa. Em caso de problemas como sitekey inválido, esta opção deve ser desativada.
Mode*.domain/*Escolha do tipo de domínio, existem apenas dois tipos: URL e *.domain/*. URL - endereço exato, *.domain/* - domínio com todos os seus subdomínios
Additional headersPossibilidade de especificar cabeçalhos de requisição personalizados