Перейти к основному содержимому

SE::Google::SafeBrowsing - Проверка домена в блеклисте гугла

Обзор парсера Google Safe Browsing#

Парсер Google Safe Browsing позволяет проверить домен в блеклисте Google. С помощью парсера Google Safe Browsing вы можете проверять собственные базы доменов на наличие в блеклисте Гугла. Детальней об этой надписи можно узнать в Справке Гугл поиска.

Функционал A-Parser позволяет сохранять настройки парсинга для дальнейшего использования (пресеты), задавать расписание парсинга и многое другое.

Благодаря многопоточной работе A-Parser'a, скорость обработки запросов может достигать 3 800 - 4 000 запросов в минуту.

скорость работы парсера SE::Google::SafeBrowsing

Сохранение результатов возможно в том виде и структуре которая вам необходима, благодаря встроенному мощному шаблонизатору Template Toolkit который позволяет применять дополнительную логику к результатам и выводить данные в различных форматах, включая JSON, SQL и CSV.

Список собираемых данных#

  • Нахождение в списке подозрительных сайтов

какие данные собирает парсер SE::Google::SafeBrowsing

Варианты использования#

  • Проверка списка доменов на занесение в блеклист Гугла
  • Мониторинг своих доменов на занесение в блеклист Гугла

Примеры запросов#

  • В качестве запросов необходимо указывать URL искомого сайта, например:
http://a-parser.com/
http://www.yandex.ru/
http://facebook.com/
http://youtube.com/
http://perfect-soft.net/

Варианты вывода результатов#

A-Parser поддерживает гибкое форматирование результатов благодаря встроенному шаблонизатору Template Toolkit, что позволяет ему выводить результаты в произвольной форме, а также в структуированной, например CSV или JSON

Экспорт списка проверки в блеклисте#

Формат результата:

$query: $exists\n

В результате отображен URL и находится ли он в блеклисте Google.

Пример результата:

http://youtube.com/: 0
http://www.yandex.ru/: 0
http://a-parser.com/: 0
http://perfect-soft.net: 1
http://facebook.com/: 0

Вывод результатов в таблицу CSV#

Встроенная утилита tools.CSVLine позволяет создавать корректные табличные документы, готовые для импорта в Excel или Google Таблицы

Общий формат результата:

[% tools.CSVline(query.orig,p1.exists) %]

Имя файла:

$datefile.format().csv

Начальный текст:

Сайт,Результат проверки

Пример результата:

Сайт,Результат проверки
http://youtube.com/,0
http://www.yandex.ru/,0
http://a-parser.com/,0
http://perfect-soft.net,1
http://facebook.com/,0
tip

В Общем формате результатов применяется шаблонизатор Template Toolkit для вывода запроса и проверки в блеклисте.
Что такое общий формат результатов.

В имени файла результатов нужно просто изменить разрешение файла на csv.

Чтобы опция "Начальный текст" была доступна в Редакторе заданий, нужно активировать "Больше опций". В "Начальный текст" записываем названия столбцов через запятую и второй строку делаем пустой.

Сохранение в формате SQL#

Формат результата:

INSERT INTO serp VALUES('$p1.query.query', '$p1.exists')\n

Пример результата:

INSERT INTO serp VALUES('http://www.yandex.ru/', '0')
INSERT INTO serp VALUES('http://a-parser.com/', '0')
INSERT INTO serp VALUES('http://perfect-soft.net', '1')
INSERT INTO serp VALUES('http://facebook.com/', '0')
INSERT INTO serp VALUES('http://youtube.com/', '0')

Дамп результатов в JSON#

Формат результата:

[% data = {};
data.query = p1.query.orig;
data.exists = p1.exists; %]$data.json\n

Пример результата:

{"query":"http://www.yandex.ru/","exists":"0"}
{"query":"http://youtube.com/","exists":"0"}
{"query":"http://facebook.com/","exists":"0"}
{"query":"http://a-parser.com/","exists":"0"}
{"query":"http://perfect-soft.net","exists":"1"}

Обработка результатов#

A-Parser позволяет обрабатывать результаты непосредственно во время парсинга, в этом разделе мы привели наиболее популярные кейсы для парсера SE::Google::SafeBrowsing

Сохранение доменов со значением проверки "1"#

Добавить фильтр и в выпадающем списке выбрать переменную значения проверки($exists - Listed as suspicious). Выбрать тип: Строка равна. Далее нужно в "Строка" прописать значение которое нам нужно 1. Таким фильтром вы сможете убрать все результаты с не нужным значением.

пример использования фильтра в парсере SE::Google::SafeBrowsing

Скачать пример

Как импортировать пример в А-Парсер

eJx1VEuP2jAQ/ivI4tBKEMqhl9wAlaoVXbYLe2I5mGTCujger+3wUJT/3rETEth2
b57H983bJXPcHuyjAQvOsnhTMh3eLGarb3H8HXEvIY5XPIOpwZMVat8b9uZCgunB
medaAhswzY0F4/GbD2HklkLGC+nYoGTuooFi4BGMEannECnJySskBxKOXBbenmLO
hWJVh8iEdGDIhdL0XDGDs7CU+6AxrWs/eCu4vGEa0xu1E6hIsKAsq7bbK4udo8m5
J+vrcdR0oDWu+BHWWMeGTu2b8MBzT95PuQNvjbJA9Olz5M6egaep8DG5rCP4FnVR
n5V4C8kpJF96GgF2bjAnlYNA4JWXa3Yb1g8yI4oiYH/XGBZnXFoYMEupzjklkr63
CGoNd2iWoQekLxmqiZQLOILs3AL/tBAypXlOMgL9aID/d1n+w1G15d2GojmfDOXQ
sgRpuvzVoVJc4N7PfEd1S5ELR7KdYaH8YL6Q8gCg2549+J7laKAN0zA30WmnNSi/
VN3IJrpT3ZVxN5Z7ZYIqE/tls6hXz0Kt6XCWaob+BHxdqpCSxmLhqVuPiW3G4IUu
wffgWQjhS78eCHOI0v5c1alqI2j9vvoEc+rkbdSGMuFSPj8tbi2sWykSXp3T8WjE
h/WpRgnmoxfVaE+nU3ThKoVzZIpOnfEEdoiHe+cLFq7Ywb1Sg8kgcUOLmYtUOJ6E
TmKPtKzUsGrb/hHtV1N+/FPEZUX78Mc+1hDfPA8gHU3BhhMeV38BeN+pvw==

tip

Смотреть также: Фильтры результатов

Возможные настройки#

Название параметраЗначение по умолчаниюОписание
CheckDomainВыбор типа проверки(Domain / Full link)
Последнее обновление