Vai al contenuto principale

SE::Yandex::SafeBrowsing - Controllo del dominio nella blacklist di Yandex

Panoramica dello scraper​

Panoramica dello scraperSE::Yandex::SafeBrowsingSE::Yandex::SafeBrowsing – verifica la presenza di un dominio nella blacklist di Yandex.

La funzionalità di A-Parser consente di salvare le impostazioni di scraping dello scraper SE::Yandex::SafeBrowsing per un uso futuro (preset), impostare programmi di scraping e molto altro.

Il salvataggio dei risultati è possibile nella forma e nella struttura necessaria, grazie al potente motore di modelli integrato Template Toolkit che permette di applicare logica aggiuntiva ai risultati e di esportare i dati in vari formati, tra cui JSON, SQL e CSV.

Dati raccolti​

  • Presenza nell'elenco dei siti sospetti

quali dati raccoglie lo scraper SE::Yandex::SafeBrowsing

Casi d'uso​

  • Verifica di un elenco di domini per l'inserimento nella blacklist di Yandex
  • Monitoraggio dei propri domini per l'inserimento nella blacklist di Yandex

Query​

Come query è necessario specificare l'URL del sito cercato, ad esempio:

http://a-parser.com/  
http://www.yandex.ru/  
http://google.com/  
http://vk.com/  
http://facebook.com/  
http://youtube.com/

Varianti di output dei risultati​

A-Parser supporta la formattazione flessibile dei risultati grazie al motore di modelli integrato Template Toolkit, che gli consente di produrre risultati in forma arbitraria, così come in forma strutturata, ad esempio CSV o JSON

Output predefinito​

Formato del risultato:

$query: $exists\n

Esempio di risultato, in cui viene visualizzato l'URL e se si trova nella blacklist di Yandex:

http://vk.com/: 0  
http://www.yandex.ru/: 0  
http://youtube.com/: 0  
http://facebook.com/: 0  
http://google.com/: 0  
http://a-parser.com/: 0

Salvataggio in formato SQL​

Formato del risultato:

[% "INSERT INTO yandexSafeBrowsing VALUES('" _ query _ "', '" _ p1.exists _ "')\n" %]

Esempio di risultato:

INSERT INTO dns VALUES('http://google.com', '0')
INSERT INTO yandexSafeBrowsing VALUES('http://yandex.ru', '0')
INSERT INTO yandexSafeBrowsing VALUES('http://a-parser.com', '0')
INSERT INTO yandexSafeBrowsing VALUES('http://vk.com', '0')
INSERT INTO yandexSafeBrowsing VALUES('http://facebook.com', '0')

Dump dei risultati in JSON​

Formato comune del risultato:

[% IF notFirst;
  ",\n";
ELSE;
  notFirst = 1;
END;

obj = {};
obj.query = query;
obj.ip = ip;

obj.json %]

Testo iniziale:

[

Testo finale:

]

Esempio di risultato:

[{"ip":"31.13.79.35","query":"facebook.com"},
{"ip":"172.217.174.174","query":"google.com"},
{"ip":"5.255.255.50","query":"yandex.ru"},
{"ip":"142.250.71.14","query":"youtube.com"},
{"ip":"87.240.190.67","query":"vk.com"},
{"ip":"176.9.9.90","query":"a-parser.com"}]
suggerimento

Affinché le opzioni "Prepend text" e "Append text" siano disponibili nell'Editor delle attività, è necessario attivare "More options".

Impostazioni possibili​

nota

Impostazioni comuni per tutti gli scraper