跳转到主要内容

SE::Yandex::SafeBrowsing - 在 Yandex 黑名单中检查域名

爬虫工具概览​

爬虫工具概览SE::Yandex::SafeBrowsingSE::Yandex::SafeBrowsing – 检查域名是否在 Yandex 黑名单中。

A-Parser 的功能允许保存 SE::Yandex::SafeBrowsing 爬虫工具的数据抓取设置以供将来使用（预设），设置数据抓取计划等等。

得益于内置强大的 Template Toolkit 模板引擎，可以按您需要的形式和结构保存结果，该引擎允许对结果应用额外的逻辑并以各种格式输出数据，包括 JSON、SQL 和 CSV。

采集的数据​

  • 是否存在于可疑网站列表中

SE::Yandex::SafeBrowsing 爬虫工具采集的数据

应用场景​

  • 检查域名列表是否被列入 Yandex 黑名单
  • 监控自己的域名是否被列入 Yandex 黑名单

查询​

查询时需要指定目标网站的 URL，例如：

http://a-parser.com/  
http://www.yandex.ru/  
http://google.com/  
http://vk.com/  
http://facebook.com/  
http://youtube.com/

结果输出示例​

得益于内置的模板引擎 Template Toolkit，A-Parser 支持灵活的结果格式化，这使其能够以任意形式以及结构化形式（如 CSV 或 JSON）输出结果。

默认输出​

结果格式：

$query: $exists\n

结果示例，显示了 URL 及其是否在 Yandex 黑名单中：

http://vk.com/: 0  
http://www.yandex.ru/: 0  
http://youtube.com/: 0  
http://facebook.com/: 0  
http://google.com/: 0  
http://a-parser.com/: 0

以 SQL 格式保存​

结果格式：

[% "INSERT INTO yandexSafeBrowsing VALUES('" _ query _ "', '" _ p1.exists _ "')\n" %]

结果示例：

INSERT INTO dns VALUES('http://google.com', '0')
INSERT INTO yandexSafeBrowsing VALUES('http://yandex.ru', '0')
INSERT INTO yandexSafeBrowsing VALUES('http://a-parser.com', '0')
INSERT INTO yandexSafeBrowsing VALUES('http://vk.com', '0')
INSERT INTO yandexSafeBrowsing VALUES('http://facebook.com', '0')

将结果转储为 JSON​

通用结果格式：

[% IF notFirst;
  ",\n";
ELSE;
  notFirst = 1;
END;

obj = {};
obj.query = query;
obj.ip = ip;

obj.json %]

起始文本：

[

结束文本：

]

结果示例：

[{"ip":"31.13.79.35","query":"facebook.com"},
{"ip":"172.217.174.174","query":"google.com"},
{"ip":"5.255.255.50","query":"yandex.ru"},
{"ip":"142.250.71.14","query":"youtube.com"},
{"ip":"87.240.190.67","query":"vk.com"},
{"ip":"176.9.9.90","query":"a-parser.com"}]
提示

要在任务编辑器中使用“Prepend text”和“Append text”选项，需要激活“More options”。

可能的设置​

备注

所有爬虫工具的通用设置