SE::Google::SafeBrowsing - Verificação de domínio na blacklist do Google
Visão geral do scraper
O scraper Google Safe Browsing permite verificar um domínio na blacklist do Google. Com a ajuda do scraper Google Safe Browsing, você pode verificar suas próprias bases de domínios quanto à presença na blacklist do Google. Mais detalhes sobre este aviso podem ser encontrados na Ajuda da Pesquisa Google.
A funcionalidade do A-Parser permite salvar as configurações de extração de dados para uso futuro (presets), definir cronogramas de extração de dados e muito mais.
Graças ao processamento em múltiplas threads do A-Parser, a velocidade de processamento de consultas pode atingir 3800-4000 consultas por minuto.
A preservação dos resultados é possível no formato e estrutura que você necessita, graças ao poderoso motor de modelos integrado Template Toolkit, que permite aplicar lógica adicional aos resultados e exibir dados em vários formatos, incluindo JSON, SQL e CSV.
Dados coletados
- Presença na lista de sites suspeitos
Casos de uso
- Verificação de uma lista de domínios quanto à inclusão na blacklist do Google
- Monitoramento de seus próprios domínios quanto à inclusão na blacklist do Google
Consultas
Como consultas, é necessário indicar a URL do site pesquisado, por exemplo:
http://a-parser.com/
http://www.yandex.ru/
http://facebook.com/
http://youtube.com/
http://perfect-soft.net/
Exemplos de saída de resultados
O A-Parser suporta formatação flexível de resultados graças ao motor de modelos integrado Template Toolkit, o que permite exibir resultados de forma arbitrária, bem como estruturada, por exemplo, CSV ou JSON
Exportação da lista de verificação na blacklist
Formato do resultado:
$query: $exists\n
Exemplo de resultado, no qual é exibida a URL e se ela está na blacklist do Google:
http://youtube.com/: 0
http://www.yandex.ru/: 0
http://a-parser.com/: 0
http://perfect-soft.net: 1
http://facebook.com/: 0
Exibição de resultados em uma tabela CSV
A utilidade integrada $tools.CSVLine permite criar documentos tabulares corretos, prontos para importação no Excel ou Google Planilhas.
Formato geral do resultado:
[% tools.CSVline(query.orig,p1.exists) %]
Nome do arquivo:
$datefile.format().csv
Texto inicial:
Site,Resultado da verificação
Exemplo de resultado:
Site,Resultado da verificação
http://youtube.com/,0
http://www.yandex.ru/,0
http://a-parser.com/,0
http://perfect-soft.net,1
http://facebook.com/,0
No Formato geral de resultados, aplica-se o modelo Template Toolkit para a saída da consulta e da verificação na blacklist.
No nome do arquivo de resultados, basta alterar a extensão do arquivo para csv.
Para que a opção "Prepend text" esteja disponível no Editor de tarefas, é necessário ativar "More options". No "Prepend text", escrevemos os nomes das colunas separados por vírgula e deixamos a segunda linha vazia.
Salvamento em formato SQL
Formato do resultado:
[% "INSERT INTO volumes VALUES('" _ query.query _ "', '" _ exists _ "')\n" %]
Exemplo de resultado:
INSERT INTO serp VALUES('http://www.yandex.ru/', '0')
INSERT INTO serp VALUES('http://a-parser.com/', '0')
INSERT INTO serp VALUES('http://perfect-soft.net', '1')
INSERT INTO serp VALUES('http://facebook.com/', '0')
INSERT INTO serp VALUES('http://youtube.com/', '0')
Dump de resultados em JSON
Formato geral do resultado:
[% IF notFirst;
",\n";
ELSE;
notFirst = 1;
END;
obj = {};
obj.query = p1.query.orig;
obj.exists = p1.exists;
obj.json %]
Texto inicial:
[
Texto final:
]
Exemplo de resultado:
[{"query":"http://www.yandex.ru/","exists":"0"},
{"query":"http://youtube.com/","exists":"0"},
{"query":"http://facebook.com/","exists":"0"},
{"query":"http://a-parser.com/","exists":"0"},
{"query":"http://perfect-soft.net","exists":"1"}]
Para que as opções "Prepend text" e "Append text" estejam disponíveis no Editor de tarefas, é necessário ativar "More options".
Processamento de resultados
O A-Parser permite processar os resultados diretamente durante a extração de dados; nesta seção, apresentamos os casos mais populares para o scraper SE::Google::SafeBrowsing
Salvamento de domínios com valor de verificação "1"
Adicionar um filtro e, na lista suspensa, selecionar a variável do valor de verificação $exists - Listed as suspicious. Selecionar o tipo: String equal. Em seguida, em String (Linha), deve-se escrever o valor que precisamos 1. Com este filtro, você poderá remover todos os resultados com o valor indesejado.
Baixar exemplo
Como importar um exemplo para o A-Parser
eJx1VEuP2jAQ/ivI4tBKEMqhl9wAlaoVXbYLe2I5mGTCujger+3wUJT/3rETEth2
b57H983bJXPcHuyjAQvOsnhTMh3eLGarb3H8HXEvIY5XPIOpwZMVat8b9uZCgunB
medaAhswzY0F4/GbD2HklkLGC+nYoGTuooFi4BGMEannECnJySskBxKOXBbenmLO
hWJVh8iEdGDIhdL0XDGDs7CU+6AxrWs/eCu4vGEa0xu1E6hIsKAsq7bbK4udo8m5
J+vrcdR0oDWu+BHWWMeGTu2b8MBzT95PuQNvjbJA9Olz5M6egaep8DG5rCP4FnVR
n5V4C8kpJF96GgF2bjAnlYNA4JWXa3Yb1g8yI4oiYH/XGBZnXFoYMEupzjklkr63
CGoNd2iWoQekLxmqiZQLOILs3AL/tBAypXlOMgL9aID/d1n+w1G15d2GojmfDOXQ
sgRpuvzVoVJc4N7PfEd1S5ELR7KdYaH8YL6Q8gCg2549+J7laKAN0zA30WmnNSi/
VN3IJrpT3ZVxN5Z7ZYIqE/tls6hXz0Kt6XCWaob+BHxdqpCSxmLhqVuPiW3G4IUu
wffgWQjhS78eCHOI0v5c1alqI2j9vvoEc+rkbdSGMuFSPj8tbi2sWykSXp3T8WjE
h/WpRgnmoxfVaE+nU3ThKoVzZIpOnfEEdoiHe+cLFq7Ywb1Sg8kgcUOLmYtUOJ6E
TmKPtKzUsGrb/hHtV1N+/FPEZUX78Mc+1hDfPA8gHU3BhhMeV38BeN+pvw==
Veja também: Filtros de resultados
Configurações possíveis
| Nome do parâmetro | Valor padrão | Descrição |
|---|---|---|
| Check | Domain | Escolha do tipo de verificação (Domain / Full link) |