Przejdź do treści głównej

SE::Yandex::SafeBrowsing - Sprawdzanie domeny na czarnej liście Yandex

Przegląd scrapera​

Przegląd scraperaSE::Yandex::SafeBrowsingSE::Yandex::SafeBrowsing – sprawdza obecność domeny na czarnej liście Yandex.

Funkcjonalność A-Parser pozwala zapisywać ustawienia scrapowania scrapera SE::Yandex::SafeBrowsing do dalszego wykorzystania (presety), ustalać harmonogram scrapowania i wiele więcej.

Zapisywanie wyników jest możliwe w dowolnej formie i strukturze, której potrzebujesz, dzięki wbudowanemu potężnemu silnikowi szablonów Template Toolkit, który pozwala stosować dodatkową logikę do wyników i wyprowadzać dane w różnych formatach, w tym JSON, SQL i CSV.

Zbierane dane​

  • Obecność na liście podejrzanych witryn

jakie dane zbiera scraper SE::Yandex::SafeBrowsing

Warianty wykorzystania​

  • Sprawdzanie listy domen pod kątem umieszczenia na czarnej liście Yandex
  • Monitorowanie własnych domen pod kątem umieszczenia na czarnej liście Yandex

Zapytania​

Jako zapytania należy podawać URL szukanej strony, na przykład:

http://a-parser.com/  
http://www.yandex.ru/  
http://google.com/  
http://vk.com/  
http://facebook.com/  
http://youtube.com/

Warianty wyprowadzania wyników​

A-Parser obsługuje elastyczne formatowanie wyników dzięki wbudowanemu silnikowi szablonów Template Toolkit, co pozwala mu wyprowadzać wyniki w dowolnej formie, a także w formie ustrukturyzowanej, np. CSV lub JSON

Wynik domyślny​

Format wyniku:

$query: $exists\n

Przykład wyniku, w którym wyświetlony jest URL oraz informacja, czy znajduje się on na czarnej liście Yandex:

http://vk.com/: 0  
http://www.yandex.ru/: 0  
http://youtube.com/: 0  
http://facebook.com/: 0  
http://google.com/: 0  
http://a-parser.com/: 0

Zapisywanie w formacie SQL​

Format wyniku:

[% "INSERT INTO yandexSafeBrowsing VALUES('" _ query _ "', '" _ p1.exists _ "')\n" %]

Przykład wyniku:

INSERT INTO dns VALUES('http://google.com', '0')
INSERT INTO yandexSafeBrowsing VALUES('http://yandex.ru', '0')
INSERT INTO yandexSafeBrowsing VALUES('http://a-parser.com', '0')
INSERT INTO yandexSafeBrowsing VALUES('http://vk.com', '0')
INSERT INTO yandexSafeBrowsing VALUES('http://facebook.com', '0')

Zrzut wyników do JSON​

Ogólny format wyniku:

[% IF notFirst;
  ",\n";
ELSE;
  notFirst = 1;
END;

obj = {};
obj.query = query;
obj.ip = ip;

obj.json %]

Tekst początkowy:

[

Tekst końcowy:

]

Przykład wyniku:

[{"ip":"31.13.79.35","query":"facebook.com"},
{"ip":"172.217.174.174","query":"google.com"},
{"ip":"5.255.255.50","query":"yandex.ru"},
{"ip":"142.250.71.14","query":"youtube.com"},
{"ip":"87.240.190.67","query":"vk.com"},
{"ip":"176.9.9.90","query":"a-parser.com"}]
wskazówka

Aby opcje "Prepend text" i "Append text" były dostępne w Edytorze zadań, należy aktywować "More options".

Możliwe ustawienia​

notatka

Ustawienia ogólne dla wszystkich scraperów