Hoppa till huvudinnehåll

SE::Yandex::SafeBrowsing - Kontrollera domän i Yandex svartlista

Översikt av scrapern​

Översikt av scrapernSE::Yandex::SafeBrowsingSE::Yandex::SafeBrowsing – kontrollerar om en domän finns i Yandex svartlista.

Funktionaliteten i A-Parser gör det möjligt att spara inställningar för scrapern SE::Yandex::SafeBrowsing för framtida bruk (förinställningar), schemalägga dataskrapning och mycket mer.

Resultaten kan sparas i precis den form och struktur du behöver, tack vare den inbyggda kraftfulla mallmotorn Template Toolkit som gör det möjligt att tillämpa extra logik på resultaten och exportera data i olika format, inklusive JSON, SQL och CSV.

Data som samlas in​

  • Förekomst i listan över misstänkta webbplatser

vilken data som samlas in av scrapern SE::Yandex::SafeBrowsing

Användningsfall​

  • Kontrollera en lista över domäner mot Yandex blacklist
  • Övervaka egna domäner för att se om de hamnat i Yandex blacklist

Frågor​

Som frågor måste URL:en för den sökta webbplatsen anges, till exempel:

http://a-parser.com/  
http://www.yandex.ru/  
http://google.com/  
http://vk.com/  
http://facebook.com/  
http://youtube.com/

Alternativ för resultatvisning​

A-Parser stöder flexibel formatering av resultat tack vare den inbyggda mallmotorn Template Toolkit, vilket gör det möjligt att visa resultat i valfri form, samt i strukturerad form som CSV eller JSON

Standardutdata​

Resultatformat:

$query: $exists\n

Exempel på resultat som visar URL och om den finns i Yandex blacklist:

http://vk.com/: 0  
http://www.yandex.ru/: 0  
http://youtube.com/: 0  
http://facebook.com/: 0  
http://google.com/: 0  
http://a-parser.com/: 0

Spara i SQL-format​

Resultatformat:

[% "INSERT INTO yandexSafeBrowsing VALUES('" _ query _ "', '" _ p1.exists _ "')\n" %]

Exempel på resultat:

INSERT INTO dns VALUES('http://google.com', '0')
INSERT INTO yandexSafeBrowsing VALUES('http://yandex.ru', '0')
INSERT INTO yandexSafeBrowsing VALUES('http://a-parser.com', '0')
INSERT INTO yandexSafeBrowsing VALUES('http://vk.com', '0')
INSERT INTO yandexSafeBrowsing VALUES('http://facebook.com', '0')

Dumpa resultat till JSON​

Allmänt resultatformat:

[% IF notFirst;
  ",\n";
ELSE;
  notFirst = 1;
END;

obj = {};
obj.query = query;
obj.ip = ip;

obj.json %]

Starttext:

[

Sluttext:

]

Exempel på resultat:

[{"ip":"31.13.79.35","query":"facebook.com"},
{"ip":"172.217.174.174","query":"google.com"},
{"ip":"5.255.255.50","query":"yandex.ru"},
{"ip":"142.250.71.14","query":"youtube.com"},
{"ip":"87.240.190.67","query":"vk.com"},
{"ip":"176.9.9.90","query":"a-parser.com"}]
tips

För att alternativen "Prepend text" och "Append text" ska vara tillgängliga i Task Editor, måste du aktivera "More options".

Möjliga inställningar​

anteckning

Allmänna inställningar för alla scrapers