Passer au contenu principal

SE::Yandex::SafeBrowsing - Vérification de domaine dans la liste noire de Yandex

Présentation du scraper​

Présentation du scraperSE::Yandex::SafeBrowsingSE::Yandex::SafeBrowsing – vérifie la présence d'un domaine dans la liste noire de Yandex.

La fonctionnalité d'A-Parser permet de sauvegarder les paramètres de collecte de données du scraper SE::Yandex::SafeBrowsing pour une utilisation ultérieure (présélections), de définir un calendrier de collecte de données et bien plus encore.

La sauvegarde des résultats est possible sous la forme et la structure dont vous avez besoin, grâce au puissant moteur de gabarit intégré Template Toolkit qui permet d'appliquer une logique supplémentaire aux résultats et d'exporter les données dans divers formats, y compris JSON, SQL et CSV.

Données collectées​

  • Présence dans la liste des sites suspects

quelles données sont collectées par le scraper SE::Yandex::SafeBrowsing

Cas d'utilisation​

  • Vérification d'une liste de domaines pour l'inscription sur la liste noire de Yandex
  • Surveillance de ses propres domaines pour l'inscription sur la liste noire de Yandex

Requêtes​

Il est nécessaire d'indiquer l'URL du site recherché comme requêtes, par exemple :

http://a-parser.com/  
http://www.yandex.ru/  
http://google.com/  
http://vk.com/  
http://facebook.com/  
http://youtube.com/

Variantes d'affichage des résultats​

A-Parser prend en charge un formatage flexible des résultats grâce au moteur de gabarit intégré Template Toolkit, ce qui lui permet d'afficher les résultats sous une forme libre, ainsi que structurée, par exemple CSV ou JSON

Affichage par défaut​

Format du résultat :

$query: $exists\n

Exemple de résultat affichant l'URL et sa présence dans la liste noire de Yandex :

http://vk.com/: 0  
http://www.yandex.ru/: 0  
http://youtube.com/: 0  
http://facebook.com/: 0  
http://google.com/: 0  
http://a-parser.com/: 0

Sauvegarde au format SQL​

Format du résultat :

[% "INSERT INTO yandexSafeBrowsing VALUES('" _ query _ "', '" _ p1.exists _ "')\n" %]

Exemple de résultat :

INSERT INTO dns VALUES('http://google.com', '0')
INSERT INTO yandexSafeBrowsing VALUES('http://yandex.ru', '0')
INSERT INTO yandexSafeBrowsing VALUES('http://a-parser.com', '0')
INSERT INTO yandexSafeBrowsing VALUES('http://vk.com', '0')
INSERT INTO yandexSafeBrowsing VALUES('http://facebook.com', '0')

Dump des résultats en JSON​

Format de sortie general:

[% IF notFirst;
  ",\n";
ELSE;
  notFirst = 1;
END;

obj = {};
obj.query = query;
obj.ip = ip;

obj.json %]

Texte initial:

[

Texte final:

]

Exemple de résultat :

[{"ip":"31.13.79.35","query":"facebook.com"},
{"ip":"172.217.174.174","query":"google.com"},
{"ip":"5.255.255.50","query":"yandex.ru"},
{"ip":"142.250.71.14","query":"youtube.com"},
{"ip":"87.240.190.67","query":"vk.com"},
{"ip":"176.9.9.90","query":"a-parser.com"}]
astuce

Pour que les options "Texte initial" et "Texte final" soient disponibles dans l'Éditeur de tâches, vous devez activer "Plus d'options".

Paramètres possibles​

note

Paramètres communs pour tous les scrapers