Pular para o conteúdo principal

Vários scrapers em uma única tarefa

Recursos​

A-Parser suporta o processamento de consultas por vários scrapers ao mesmo tempo, o que permite:

  • Fazer a extração de dados de resultados de vários mecanismos de busca simultaneamente
  • Analisar domínios por múltiplos parâmetros
  • Coletar simultaneamente palavras-chave de sugestões de diferentes mecanismos de busca e do Yandex Wordstat
  • Coletar informações de Whois e DNS para domínios
  • Muitas outras variantes de aplicação

Adicionando um scraper​

Para adicionar um novo scraper, basta clicar no botão Add Parser (Adicionar scraper) no Editor de Tarefas:

Botão Adicionar scraper no editor de tarefas

Cada scraper é numerado, os resultados de cada scraper no construtor de resultados e na formatação de resultados estão disponíveis através de abreviações:

$p1, $p2... - onde o número indica o número do scraper.

No formato geral do resultado, por padrão, os resultados de cada scraper são exibidos sequencialmente, no formato especificado nas configurações de cada scraper

O uso de vários scrapers em uma única tarefa aumenta a velocidade geral da extração de dados, pois o número de solicitações simultâneas para um único scraper diminui, consequentemente, o banimento de proxy ou a exibição de captcha ocorrem com menos frequência

Cada scraper processa a consulta original ou sua variação ao usar o construtor de consultas, possui seu próprio formato de consulta nas configurações, no entanto, não é possível passar os resultados de um scraper anterior como consultas para outro scraper (esta funcionalidade está planejada para o futuro)

Exemplo de análise de domínios​

Exemplo de análise de domínios

Neste exemplo, usamos como consultas uma lista de domínios que expirarão em breve (ficarão disponíveis para registro novamente), estamos interessados em selecionar domínios com bons parâmetros, para isso utilizamos seis scrapers diferentes:

  • SE::GoogleSE::Google - consulta no Google no formato site:$query, descobrimos o número de páginas indexadas
  • Rank::BingAnalyticsRank::BingAnalytics - descobrimos a classificação global do domínio
  • SE::GoogleSE::Google - consulta no Google no formato "$query", descobrimos o número de menções ao domínio
  • SE::Google::TrustCheckSE::Google::TrustCheck - descobrimos o quanto o Google confia no site
  • SE::Google::SafeBrowsingSE::Google::SafeBrowsing - descobrimos se o site está marcado como inseguro
  • Rank::AhrefsRank::Ahrefs - descobrimos o número de backlinks que apontam para o domínio através do serviço Ahrefs

No formato de resultados, exibimos a consulta original (domínio) e os resultados de cada scraper, na ordem que desejamos:

$query, $p1.totalcount, $p2.globalRank, $p3.totalcount, $p4.trustrank, $p5.exists, $p6.bl\n
Baixar exemplo

Como importar um exemplo para o A-Parser

eJy1Vd1v2zYQ/1cMIg/bYKhxuvZBb47X7ANZ7dnOU1wEjHSSWVMkS1J2PCP/++5I
yrLTFOiADXrR8b5+v7vj8cA8dxs3s+DAO5bfH5gJ/yxnY8Xl/m8Y/KIbLpQbXGWX
bMgMtw4smd6zxYc8/1XrWgIqZrwGN5joVvlB62Aws/ppz4YH5vcGMJzegrWiJFNR
ovylBbuvtG24x6Mtly1ZOeEhvwg69vxpeM/mXG3y/FqoOuDxonBoXkLFW+kZWfwP
KFYsQlixCKJPkedL2zo/WUOxOcHxbxOsvTf5mzenRE9zLHgF11bvHNL+b7PEco7X
Fir3XZHvvJAPy9Yqhz/wkKajzzFW2BJufLHmmOHTkKEBRnQ3EUyeKjkcXJhR5rXn
sqDmkHyV1VI/ckmYSH77Qv9z5qnWNqnfZfAknHf0/z57lKuVYsd0C76FpcZ0lQhz
0KFA6SNvCOhFyT2QNot1+uHHzD8RE16WwguN0xUx02z3PO6U+BKIKo22xEWAu7G6
wSMPIUAg2PG9T4RxNFkbfP+KPiyvuHQwZA6h3nAEUr7U4Oxb7rWdGsKD5wem1VjK
W9iC7M1C/OtWyBIv4rhCp9+T4+sm069iPB/pnabCzu8sYjhGCdL19M/eq9S3uu6K
IUUjPMouXDc8pf2wATDHmn0ks0ZbOKZJkVN23DsGFI1Z37Kx6Y/OaJy15fyw0KoS
9TSNbmfZqiUut6ma6MZIIF6qlRLb4mDej8fYpTaQ0AN86TwJKRDW8cowr7V0fywi
VGMFjt87AthgJU+zppAFl/JufnuqIUfntZmqD9a+aF8YDMblVjjdZIVuVoo3Da9l
/C/WAmsT/7EQvNzFf5Ca21KrJDnP7b7mUfrcqoIWaJSkrrGBLukaTphsFJCLg1Ik
lRO1Es6kZG6jpeEqSbu1qCVXZZT2equtXycojDh7qDXeBuwI7p/u9Ti+N4fT7Y3S
6+sbFacLrtsp3WuktK/QA2dmROWfxG00Rzahhm+HrJapSRi+SMM6Ck3D8GGXAxaf
/YRHazIFwl6Gdw+l3W6X1QEi8aLGiwZ0i0HeXw7jgpx3Wa8eju9nPyjIxEQiCFBV
BnOhIy4PyyOROAhgDUWOktRYO7wzUcII+Ll4h0aETfkl38AiHoZ4uNs80RjRzVQb
ZzAe8iWql3HN/QY83pkuXTe6iM125YrWFhCZ8yVIvg/RS9iKAgItt8GR7fweuVJQ
FhK4ag1VhJCEPsWbeuxWPrjo13u3u1PVZty51Gp0l9QL9ozr5rXHPz+g4hsP8le6
s4c0aM8eQDzBo89uFseSNkBKgKskFnb0/A8Hayy4

⏩ Exemplo de vídeo de criação de um preset com vários scrapers​

Nesta videoaula, é abordado o método de criação de um preset para a extração de dados de domínios temáticos por palavra-chave a partir dos resultados de busca do Google, e a obtenção de vários parâmetros para esses domínios.

A aula aborda:

  • Extração de dados dos resultados de busca do Google
  • Exibição de resultados únicos como domínios principais
  • Obtenção de parâmetros como:
    • se o domínio está registrado ou não
    • data de registro e data de expiração do domínio
    • idioma do site
    • title e description
    • índice de qualidade do site
    • posição no ranking global Alexa
    • país com o maior volume de tráfego de acordo com o Alexa
    • posição no ranking desse país de acordo com o Alexa