Zum Hauptinhalt springen

SE::Yandex::SafeBrowsing - Überprüfung von Domains in der Yandex-Blacklist

Übersicht des Parsers​

Übersicht des ParsersSE::Yandex::SafeBrowsingSE::Yandex::SafeBrowsing – prüft, ob eine Domain in der Blacklist von Yandex vorhanden ist.

Die Funktionalität von A-Parser ermöglicht es, die Datenerfassung-Einstellungen des Scrapers SE::Yandex::SafeBrowsing für die weitere Verwendung zu speichern (Presets), Zeitpläne für die Datenerfassung festzulegen und vieles mehr.

Das Speichern der Ergebnisse ist in jeder von Ihnen benötigten Form und Struktur möglich, dank der integrierten leistungsstarken Template-Engine Template Toolkit, die es erlaubt, zusätzliche Logik auf die Ergebnisse anzuwenden und Daten in verschiedenen Formaten auszugeben, einschließlich JSON, SQL und CSV.

Gesammelte Daten​

  • Vorhandensein in der Liste verdächtiger Websites

Welche Daten der Parser SE::Yandex::SafeBrowsing sammelt

Anwendungsfälle​

  • Überprüfung einer Liste von Domains auf Aufnahme in die Yandex-Blacklist
  • Überwachung eigener Domains auf Aufnahme in die Yandex-Blacklist

Abfragen​

Als Abfragen müssen die URLs der gesuchten Websites angegeben werden, zum Beispiel:

http://a-parser.com/  
http://www.yandex.ru/  
http://google.com/  
http://vk.com/  
http://facebook.com/  
http://youtube.com/

Ausgabebeispiele für Ergebnisse​

A-Parser unterstützt eine flexible Formatierung der Ergebnisse dank der integrierten Template-Engine Template Toolkit, was es ermöglicht, Ergebnisse in beliebiger Form sowie strukturiert auszugeben, zum Beispiel als CSV oder JSON

Standardausgabe​

Ergebnisformat:

$query: $exists\n

Beispielergebnis, in dem die URL angezeigt wird und ob sie sich in der Yandex-Blacklist befindet:

http://vk.com/: 0  
http://www.yandex.ru/: 0  
http://youtube.com/: 0  
http://facebook.com/: 0  
http://google.com/: 0  
http://a-parser.com/: 0

Speichern im SQL-Format​

Ergebnisformat:

[% "INSERT INTO yandexSafeBrowsing VALUES('" _ query _ "', '" _ p1.exists _ "')\n" %]

Beispielergebnis:

INSERT INTO dns VALUES('http://google.com', '0')
INSERT INTO yandexSafeBrowsing VALUES('http://yandex.ru', '0')
INSERT INTO yandexSafeBrowsing VALUES('http://a-parser.com', '0')
INSERT INTO yandexSafeBrowsing VALUES('http://vk.com', '0')
INSERT INTO yandexSafeBrowsing VALUES('http://facebook.com', '0')

Ergebnis-Dump in JSON​

Allgemeines Ausgabeformat:

[% IF notFirst;
  ",\n";
ELSE;
  notFirst = 1;
END;

obj = {};
obj.query = query;
obj.ip = ip;

obj.json %]

Anfangstext:

[

Endtext:

]

Beispielergebnis:

[{"ip":"31.13.79.35","query":"facebook.com"},
{"ip":"172.217.174.174","query":"google.com"},
{"ip":"5.255.255.50","query":"yandex.ru"},
{"ip":"142.250.71.14","query":"youtube.com"},
{"ip":"87.240.190.67","query":"vk.com"},
{"ip":"176.9.9.90","query":"a-parser.com"}]
Tipp

Damit die Optionen "Anfangstext" und "Endtext" im Task-Editor verfügbar sind, muss "Mehr Optionen" aktiviert werden.

Mögliche Einstellungen​

Hinweis

Allgemeine Einstellungen für alle Scraper