SE::Google::SafeBrowsing - Sprawdzanie domeny na czarnej liście Google
Przegląd scrapera
Scraper Google Safe Browsing pozwala sprawdzić domenę na czarnej liście Google. Za pomocą scrapera Google Safe Browsing możesz sprawdzać własne bazy domen pod kątem obecności na czarnej liście Google. Więcej informacji na temat tego oznaczenia można znaleźć w Pomocy wyszukiwarki Google.
Funkcjonalność A-Parser pozwala zapisywać ustawienia scrapowania do późniejszego wykorzystania (presety), ustalać harmonogram scrapowania i wiele więcej.
Dzięki wielowątkowej pracy A-Parser, prędkość przetwarzania zapytań może osiągać 3800-4000 zapytań na minutę.
Zapisywanie wyników jest możliwe w dowolnej formie i strukturze, której potrzebujesz, dzięki wbudowanemu potężnemu silnikowi szablonów Template Toolkit, który pozwala stosować dodatkową logikę do wyników i wyprowadzać dane w różnych formatach, w tym JSON, SQL i CSV.
Zbierane dane
- Obecność na liście podejrzanych witryn
Zastosowania
- Sprawdzanie listy domen pod kątem wpisania na czarną listę Google
- Monitorowanie własnych domen pod kątem wpisania na czarną listę Google
Zapytania
Jako zapytania należy podawać URL szukanej strony, na przykład:
http://a-parser.com/
http://www.yandex.ru/
http://facebook.com/
http://youtube.com/
http://perfect-soft.net/
Warianty wyświetlania wyników
A-Parser obsługuje elastyczne formatowanie wyników dzięki wbudowanemu silnikowi szablonów Template Toolkit, co pozwala mu wyprowadzać wyniki w dowolnej formie, a także w formie ustrukturyzowanej, na przykład CSV lub JSON
Eksport listy sprawdzenia na czarnej liście
Format wyniku:
$query: $exists\n
Przykład wyniku, w którym wyświetlony jest URL oraz informacja, czy znajduje się on na czarnej liście Google:
http://youtube.com/: 0
http://www.yandex.ru/: 0
http://a-parser.com/: 0
http://perfect-soft.net: 1
http://facebook.com/: 0
Wyprowadzanie wyników do tabeli CSV
Wbudowane narzędzie $tools.CSVLine pozwala tworzyć poprawne dokumenty tabelaryczne, gotowe do importu do Excela lub Arkuszy Google.
Ogólny format wyniku:
[% tools.CSVline(query.orig,p1.exists) %]
Nazwa pliku:
$datefile.format().csv
Tekst początkowy:
Witryna,Wynik sprawdzenia
Przykład wyniku:
Witryna,Wynik sprawdzenia
http://youtube.com/,0
http://www.yandex.ru/,0
http://a-parser.com/,0
http://perfect-soft.net,1
http://facebook.com/,0
W Ogólnym formacie wyników stosowany jest szablonator Template Toolkit do wyprowadzania zapytania i sprawdzenia na czarnej liście.
W nazwie pliku wyników wystarczy zmienić rozszerzenie pliku na csv.
Aby opcja "Prepend text" była dostępna w Edytorze zadań, należy aktywować "More options". W "Prepend text" wpisujemy nazwy kolumn oddzielone przecinkami, a drugi wiersz pozostawiamy pusty.
Zapisywanie w formacie SQL
Format wyniku:
[% "INSERT INTO volumes VALUES('" _ query.query _ "', '" _ exists _ "')\n" %]
Przykład wyniku:
INSERT INTO serp VALUES('http://www.yandex.ru/', '0')
INSERT INTO serp VALUES('http://a-parser.com/', '0')
INSERT INTO serp VALUES('http://perfect-soft.net', '1')
INSERT INTO serp VALUES('http://facebook.com/', '0')
INSERT INTO serp VALUES('http://youtube.com/', '0')
Zrzut wyników do JSON
Ogólny format wyniku:
[% IF notFirst;
",\n";
ELSE;
notFirst = 1;
END;
obj = {};
obj.query = p1.query.orig;
obj.exists = p1.exists;
obj.json %]
Tekst początkowy:
[
Tekst końcowy:
]
Przykład wyniku:
[{"query":"http://www.yandex.ru/","exists":"0"},
{"query":"http://youtube.com/","exists":"0"},
{"query":"http://facebook.com/","exists":"0"},
{"query":"http://a-parser.com/","exists":"0"},
{"query":"http://perfect-soft.net","exists":"1"}]
Aby opcje "Prepend text" i "Append text" były dostępne w Edytorze zadań, należy aktywować "More options".
Przetwarzanie wyników
A-Parser pozwala przetwarzać wyniki bezpośrednio podczas scrapowania, w tej sekcji przedstawiliśmy najpopularniejsze przypadki dla scrapera SE::Google::SafeBrowsing
Zapisywanie domen z wartością sprawdzenia "1"
Dodaj filtr i z listy rozwijanej wybierz zmienną wartości sprawdzenia $exists - Listed as suspicious. Wybierz typ: String equal. Następnie w polu String (Ciąg) wpisz potrzebną wartość 1. Takim filtrem będziesz mógł usunąć wszystkie wyniki z niepotrzebną wartością.
Pobierz przykład
Jak zaimportować przykład do A-Parsera
eJx1VEuP2jAQ/ivI4tBKEMqhl9wAlaoVXbYLe2I5mGTCujger+3wUJT/3rETEth2
b57H983bJXPcHuyjAQvOsnhTMh3eLGarb3H8HXEvIY5XPIOpwZMVat8b9uZCgunB
medaAhswzY0F4/GbD2HklkLGC+nYoGTuooFi4BGMEannECnJySskBxKOXBbenmLO
hWJVh8iEdGDIhdL0XDGDs7CU+6AxrWs/eCu4vGEa0xu1E6hIsKAsq7bbK4udo8m5
J+vrcdR0oDWu+BHWWMeGTu2b8MBzT95PuQNvjbJA9Olz5M6egaep8DG5rCP4FnVR
n5V4C8kpJF96GgF2bjAnlYNA4JWXa3Yb1g8yI4oiYH/XGBZnXFoYMEupzjklkr63
CGoNd2iWoQekLxmqiZQLOILs3AL/tBAypXlOMgL9aID/d1n+w1G15d2GojmfDOXQ
sgRpuvzVoVJc4N7PfEd1S5ELR7KdYaH8YL6Q8gCg2549+J7laKAN0zA30WmnNSi/
VN3IJrpT3ZVxN5Z7ZYIqE/tls6hXz0Kt6XCWaob+BHxdqpCSxmLhqVuPiW3G4IUu
wffgWQjhS78eCHOI0v5c1alqI2j9vvoEc+rkbdSGMuFSPj8tbi2sWykSXp3T8WjE
h/WpRgnmoxfVaE+nU3ThKoVzZIpOnfEEdoiHe+cLFq7Ywb1Sg8kgcUOLmYtUOJ6E
TmKPtKzUsGrb/hHtV1N+/FPEZUX78Mc+1hDfPA8gHU3BhhMeV38BeN+pvw==
Zobacz również: Filtry wyników
Możliwe ustawienia
| Nazwa parametru | Wartość domyślna | Opis |
|---|---|---|
| Check | Domain | Wybór typu sprawdzenia (Domain / Full link) |