Перейти к основному содержимому

SE::Google::SafeBrowsing - Проверка домена в блеклисте гугла

Обзор парсера

Парсер Google Safe Browsing позволяет проверить домен в блеклисте Google. С помощью парсера Google Safe Browsing вы можете проверять собственные базы доменов на наличие в блеклисте Гугла. Детальней об этой надписи можно узнать в Справке Гугл поиска.

Функционал A-Parser позволяет сохранять настройки парсинга для дальнейшего использования (пресеты), задавать расписание парсинга и многое другое.

Благодаря многопоточной работе A-Parser'a, скорость обработки запросов может достигать 3800-4000 запросов в минуту.

Обзор парсера: скорость работы

Сохранение результатов возможно в том виде и структуре которая вам необходима, благодаря встроенному мощному шаблонизатору Template Toolkit который позволяет применять дополнительную логику к результатам и выводить данные в различных форматах, включая JSON, SQL и CSV.

Собираемые данные

  • Нахождение в списке подозрительных сайтов

какие данные собирает парсер SE::Google::SafeBrowsing

Варианты использования

  • Проверка списка доменов на занесение в блеклист Гугла
  • Мониторинг своих доменов на занесение в блеклист Гугла

Запросы

В качестве запросов необходимо указывать URL искомого сайта, например:

http://a-parser.com/
http://www.yandex.ru/
http://facebook.com/
http://youtube.com/
http://perfect-soft.net/

Варианты вывода результатов

A-Parser поддерживает гибкое форматирование результатов благодаря встроенному шаблонизатору Template Toolkit, что позволяет ему выводить результаты в произвольной форме, а также в структуированной, например CSV или JSON

Экспорт списка проверки в блеклисте

Формат результата:

$query: $exists\n

Пример результата, в котором отображен URL и находится ли он в блеклисте Google:

http://youtube.com/: 0
http://www.yandex.ru/: 0
http://a-parser.com/: 0
http://perfect-soft.net: 1
http://facebook.com/: 0

Вывод результатов в таблицу CSV

Встроенная утилита $tools.CSVLine позволяет создавать корректные табличные документы, готовые для импорта в Excel или Google Таблицы.

Общий формат результата:

[% tools.CSVline(query.orig,p1.exists) %]

Имя файла:

$datefile.format().csv

Начальный текст:

Сайт,Результат проверки

Пример результата:

Сайт,Результат проверки
http://youtube.com/,0
http://www.yandex.ru/,0
http://a-parser.com/,0
http://perfect-soft.net,1
http://facebook.com/,0
подсказка

В Общем формате результатов применяется шаблонизатор Template Toolkit для вывода запроса и проверки в блеклисте.

В имени файла результатов нужно просто изменить разрешение файла на csv.

Чтобы опция "Начальный текст" была доступна в Редакторе заданий, нужно активировать "Больше опций". В "Начальный текст" записываем названия столбцов через запятую и второй строку делаем пустой.

Сохранение в формате SQL

Формат результата:

[% "INSERT INTO volumes VALUES('" _ query.query _ "', '" _ exists _ "')\n" %]

Пример результата:

INSERT INTO serp VALUES('http://www.yandex.ru/', '0')
INSERT INTO serp VALUES('http://a-parser.com/', '0')
INSERT INTO serp VALUES('http://perfect-soft.net', '1')
INSERT INTO serp VALUES('http://facebook.com/', '0')
INSERT INTO serp VALUES('http://youtube.com/', '0')

Дамп результатов в JSON

Общий формат результата:

[% IF notFirst;
",\n";
ELSE;
notFirst = 1;
END;

obj = {};
obj.query = p1.query.orig;
obj.exists = p1.exists;

obj.json %]

Начальный текст:

[

Конечный текст:

]

Пример результата:

[{"query":"http://www.yandex.ru/","exists":"0"},
{"query":"http://youtube.com/","exists":"0"},
{"query":"http://facebook.com/","exists":"0"},
{"query":"http://a-parser.com/","exists":"0"},
{"query":"http://perfect-soft.net","exists":"1"}]
подсказка

Чтобы опции "Начальный текст" и "Конечный текст" были доступны в Редакторе заданий, нужно активировать "Больше опций".

Обработка результатов

A-Parser позволяет обрабатывать результаты непосредственно во время парсинга, в этом разделе мы привели наиболее популярные кейсы для парсера SE::Google::SafeBrowsing

Сохранение доменов со значением проверки "1"

Добавить фильтр и в выпадающем списке выбрать переменную значения проверки $exists - Listed as suspicious. Выбрать тип: Строка равна. Далее нужно в Строка прописать значение которое нам нужно 1. Таким фильтром вы сможете убрать все результаты с не нужным значением.

Пример фильтрации
Скачать пример

Как импортировать пример в А-Парсер

eJx1VEuP2jAQ/ivI4tBKEMqhl9wAlaoVXbYLe2I5mGTCujger+3wUJT/3rETEth2
b57H983bJXPcHuyjAQvOsnhTMh3eLGarb3H8HXEvIY5XPIOpwZMVat8b9uZCgunB
medaAhswzY0F4/GbD2HklkLGC+nYoGTuooFi4BGMEannECnJySskBxKOXBbenmLO
hWJVh8iEdGDIhdL0XDGDs7CU+6AxrWs/eCu4vGEa0xu1E6hIsKAsq7bbK4udo8m5
J+vrcdR0oDWu+BHWWMeGTu2b8MBzT95PuQNvjbJA9Olz5M6egaep8DG5rCP4FnVR
n5V4C8kpJF96GgF2bjAnlYNA4JWXa3Yb1g8yI4oiYH/XGBZnXFoYMEupzjklkr63
CGoNd2iWoQekLxmqiZQLOILs3AL/tBAypXlOMgL9aID/d1n+w1G15d2GojmfDOXQ
sgRpuvzVoVJc4N7PfEd1S5ELR7KdYaH8YL6Q8gCg2549+J7laKAN0zA30WmnNSi/
VN3IJrpT3ZVxN5Z7ZYIqE/tls6hXz0Kt6XCWaob+BHxdqpCSxmLhqVuPiW3G4IUu
wffgWQjhS78eCHOI0v5c1alqI2j9vvoEc+rkbdSGMuFSPj8tbi2sWykSXp3T8WjE
h/WpRgnmoxfVaE+nU3ThKoVzZIpOnfEEdoiHe+cLFq7Ywb1Sg8kgcUOLmYtUOJ6E
TmKPtKzUsGrb/hHtV1N+/FPEZUX78Mc+1hDfPA8gHU3BhhMeV38BeN+pvw==
подсказка

Смотреть также: Фильтры результатов

Возможные настройки

Название параметраЗначение по умолчаниюОписание
CheckDomainВыбор типа проверки (Domain / Full link)