SE::Yandex::SafeBrowsing - Controleer domein in de blacklist van Yandex
Overzicht van de scraper
SE::Yandex::SafeBrowsing – controleert of een domein voorkomt op de blacklist van Yandex.De functionaliteit van A-Parser maakt het mogelijk om instellingen voor de scraper SE::Yandex::SafeBrowsing op te slaan voor toekomstig gebruik (presets), extractieschema's in te stellen en nog veel meer.
Het opslaan van resultaten is mogelijk in de vorm en structuur die u nodig heeft, dankzij de ingebouwde krachtige sjabloon-engine Template Toolkit waarmee u extra logica op de resultaten kunt toepassen en gegevens in verschillende formaten kunt uitvoeren, waaronder JSON, SQL en CSV.
Verzamelde gegevens
- Aanwezigheid op de lijst van verdachte sites
Toepassingen
- Controleren van een lijst met domeinen op opname in de blacklist van Yandex
- Monitoren van eigen domeinen op opname in de blacklist van Yandex
Query's
Als query's moeten de URL's van de gezochte sites worden opgegeven, bijvoorbeeld:
http://a-parser.com/
http://www.yandex.ru/
http://google.com/
http://vk.com/
http://facebook.com/
http://youtube.com/
Voorbeelden van resultaatweergave
A-Parser ondersteunt flexibele formattering van resultaten dankzij de ingebouwde sjabloon-engine Template Toolkit, waardoor resultaten in een willekeurige vorm kunnen worden uitgevoerd, evenals in gestructureerde formaten zoals CSV of JSON.
Standaard uitvoer
Resultaatformaat:
$query: $exists\n
Voorbeeld van het resultaat, waarin de URL wordt weergegeven en of deze op de blacklist van Yandex staat:
http://vk.com/: 0
http://www.yandex.ru/: 0
http://youtube.com/: 0
http://facebook.com/: 0
http://google.com/: 0
http://a-parser.com/: 0
Opslaan in SQL-formaat
Resultaatformaat:
[% "INSERT INTO yandexSafeBrowsing VALUES('" _ query _ "', '" _ p1.exists _ "')\n" %]
Voorbeeld van het resultaat:
INSERT INTO dns VALUES('http://google.com', '0')
INSERT INTO yandexSafeBrowsing VALUES('http://yandex.ru', '0')
INSERT INTO yandexSafeBrowsing VALUES('http://a-parser.com', '0')
INSERT INTO yandexSafeBrowsing VALUES('http://vk.com', '0')
INSERT INTO yandexSafeBrowsing VALUES('http://facebook.com', '0')
Resultaten dumpen in JSON
Algemeen resultaatformaat:
[% IF notFirst;
",\n";
ELSE;
notFirst = 1;
END;
obj = {};
obj.query = query;
obj.ip = ip;
obj.json %]
Begintekst:
[
Eindtekst:
]
Voorbeeld van het resultaat:
[{"ip":"31.13.79.35","query":"facebook.com"},
{"ip":"172.217.174.174","query":"google.com"},
{"ip":"5.255.255.50","query":"yandex.ru"},
{"ip":"142.250.71.14","query":"youtube.com"},
{"ip":"87.240.190.67","query":"vk.com"},
{"ip":"176.9.9.90","query":"a-parser.com"}]
Om de opties "Prepend text" en "Append text" beschikbaar te maken in de Taak-editor, moet u "More options" activeren.