SE::Yandex::SafeBrowsing - Yandexブラックリストによるドメインチェック
スクレイパーの概要
SE::Yandex::SafeBrowsing – ドメインがYandexのブラックリストに含まれているかを確認します。A-Parserの機能により、SE::Yandex::SafeBrowsingスクレイパーのスクレイピング設定を将来の使用のために保存（プリセット）したり、スクレイピングスケジュールの設定など、多くのことが可能です。
内蔵された強力なテンプレートエンジン Template Toolkit により、結果にさらなるロジックを適用し、JSON、SQL、CSVを含む様々なフォーマットで、必要な形式と構造で結果を保存することができます。
収集されるデータ
- 疑わしいサイトのリストに含まれているかどうか
ユースケース
- ドメインリストがYandexのブラックリストに登録されているかの確認
- 自社ドメインのYandexブラックリスト登録の監視
クエリ
クエリとして、検索対象のサイトのURLを指定する必要があります。例：
http://a-parser.com/
http://www.yandex.ru/
http://google.com/
http://vk.com/
http://facebook.com/
http://youtube.com/
結果の出力例
A-Parserは、内蔵されたテンプレートエンジン Template Toolkit により、柔軟な結果のフォーマットをサポートしており、任意の形式や、CSVやJSONなどの構造化された形式で結果を出力することができます。
デフォルト出力
結果のフォーマット：
$query: $exists\n
URLと、それがYandexのブラックリストに含まれているかどうかを表示する結果の例：
http://vk.com/: 0
http://www.yandex.ru/: 0
http://youtube.com/: 0
http://facebook.com/: 0
http://google.com/: 0
http://a-parser.com/: 0
SQL形式での保存
結果のフォーマット：
[% "INSERT INTO yandexSafeBrowsing VALUES('" _ query _ "', '" _ p1.exists _ "')\n" %]
結果の例：
INSERT INTO dns VALUES('http://google.com', '0')
INSERT INTO yandexSafeBrowsing VALUES('http://yandex.ru', '0')
INSERT INTO yandexSafeBrowsing VALUES('http://a-parser.com', '0')
INSERT INTO yandexSafeBrowsing VALUES('http://vk.com', '0')
INSERT INTO yandexSafeBrowsing VALUES('http://facebook.com', '0')
JSONへの結果ダンプ
共通結果形式:
[% IF notFirst;
",\n";
ELSE;
notFirst = 1;
END;
obj = {};
obj.query = query;
obj.ip = ip;
obj.json %]
開始テキスト:
[
終了テキスト:
]
結果の例：
[{"ip":"31.13.79.35","query":"facebook.com"},
{"ip":"172.217.174.174","query":"google.com"},
{"ip":"5.255.255.50","query":"yandex.ru"},
{"ip":"142.250.71.14","query":"youtube.com"},
{"ip":"87.240.190.67","query":"vk.com"},
{"ip":"176.9.9.90","query":"a-parser.com"}]
ヒント
タスクエディタで「Prepend text」と「Append text」のオプションを使用するには、「More options」を有効にする必要があります。