Pular para o conteúdo principal

SE::Yandex::SafeBrowsing - Verificação de domínio na lista negra do Yandex

Visão geral do scraper​

Visão geral do scraperSE::Yandex::SafeBrowsingSE::Yandex::SafeBrowsing – verifica a presença de um domínio na lista negra do Yandex.

A funcionalidade do A-Parser permite salvar as configurações de extração de dados do scraper SE::Yandex::SafeBrowsing para uso posterior (predefinições), definir cronogramas de extração de dados e muito mais.

A gravação dos resultados é possível na forma e estrutura que você necessita, graças ao poderoso modelo integrado Template Toolkit que permite aplicar lógica adicional aos resultados e exibir dados em vários formatos, incluindo JSON, SQL e CSV.

Dados coletados​

  • Presença na lista de sites suspeitos

quais dados o scraper SE::Yandex::SafeBrowsing coleta

Variantes de uso​

  • Verificação de uma lista de domínios para inclusão na lista negra do Yandex
  • Monitoramento de seus próprios domínios para inclusão na lista negra do Yandex

Consultas​

Como consultas, é necessário indicar a URL do site pesquisado, por exemplo:

http://a-parser.com/  
http://www.yandex.ru/  
http://google.com/  
http://vk.com/  
http://facebook.com/  
http://youtube.com/

Variantes de exibição de resultados​

O A-Parser suporta formatação flexível de resultados graças ao modelo integrado Template Toolkit, o que permite exibir resultados em forma livre, bem como estruturada, por exemplo, CSV ou JSON

Exibição padrão​

Formato do resultado:

$query: $exists\n

Exemplo de resultado, no qual é exibida a URL e se ela está na lista negra do Yandex:

http://vk.com/: 0  
http://www.yandex.ru/: 0  
http://youtube.com/: 0  
http://facebook.com/: 0  
http://google.com/: 0  
http://a-parser.com/: 0

Salvamento em formato SQL​

Formato do resultado:

[% "INSERT INTO yandexSafeBrowsing VALUES('" _ query _ "', '" _ p1.exists _ "')\n" %]

Exemplo de resultado:

INSERT INTO dns VALUES('http://google.com', '0')
INSERT INTO yandexSafeBrowsing VALUES('http://yandex.ru', '0')
INSERT INTO yandexSafeBrowsing VALUES('http://a-parser.com', '0')
INSERT INTO yandexSafeBrowsing VALUES('http://vk.com', '0')
INSERT INTO yandexSafeBrowsing VALUES('http://facebook.com', '0')

Dump de resultados em JSON​

Formato geral do resultado:

[% IF notFirst;
  ",\n";
ELSE;
  notFirst = 1;
END;

obj = {};
obj.query = query;
obj.ip = ip;

obj.json %]

Texto inicial:

[

Texto final:

]

Exemplo de resultado:

[{"ip":"31.13.79.35","query":"facebook.com"},
{"ip":"172.217.174.174","query":"google.com"},
{"ip":"5.255.255.50","query":"yandex.ru"},
{"ip":"142.250.71.14","query":"youtube.com"},
{"ip":"87.240.190.67","query":"vk.com"},
{"ip":"176.9.9.90","query":"a-parser.com"}]
dica

Para que as opções "Prepend text" e "Append text" estejam disponíveis no Editor de tarefas, é necessário ativar "More options".

Configurações possíveis​

nota

Configurações gerais para todos os scrapers