Chuyển đến nội dung chính

SE::Yandex::SafeBrowsing - Kiểm tra tên miền trong danh sách đen của Yandex

Tổng quan về công cụ cào dữ liệu

Tổng quan về công cụ cào dữ liệuSE::Yandex::SafeBrowsingSE::Yandex::SafeBrowsing – kiểm tra sự hiện diện của tên miền trong danh sách đen của Yandex.

Tính năng của A-Parser cho phép lưu các thiết lập cào dữ liệu của công cụ SE::Yandex::SafeBrowsing để sử dụng sau này (preset), thiết lập lịch trình cào dữ liệu và nhiều tính năng khác.

Việc lưu kết quả có thể thực hiện dưới bất kỳ hình thức và cấu trúc nào bạn cần, nhờ vào bộ tạo mẫu mạnh mẽ tích hợp Template Toolkit cho phép áp dụng logic bổ sung cho kết quả và xuất dữ liệu ở các định dạng khác nhau, bao gồm JSON, SQL và CSV.

Dữ liệu thu thập được

  • Sự hiện diện trong danh sách các trang web nghi vấn

dữ liệu nào được thu thập bởi công cụ cào dữ liệu SE::Yandex::SafeBrowsing

Các trường hợp sử dụng

  • Kiểm tra danh sách tên miền xem có bị đưa vào danh sách đen của Yandex không
  • Theo dõi các tên miền của mình xem có bị đưa vào danh sách đen của Yandex không

Truy vấn

Trong các truy vấn, bạn cần chỉ định URL của trang web cần tìm, ví dụ:

http://a-parser.com/  
http://www.yandex.ru/
http://google.com/
http://vk.com/
http://facebook.com/
http://youtube.com/

Các tùy chọn xuất kết quả

A-Parser hỗ trợ định dạng kết quả linh hoạt nhờ bộ tạo mẫu tích hợp Template Toolkit, cho phép xuất kết quả dưới dạng tùy ý, cũng như dưới dạng có cấu trúc như CSV hoặc JSON

Xuất mặc định

Định dạng kết quả:

$query: $exists\n

Ví dụ kết quả hiển thị URL và việc nó có nằm trong danh sách đen của Yandex hay không:

http://vk.com/: 0  
http://www.yandex.ru/: 0
http://youtube.com/: 0
http://facebook.com/: 0
http://google.com/: 0
http://a-parser.com/: 0

Lưu dưới định dạng SQL

Định dạng kết quả:

[% "INSERT INTO yandexSafeBrowsing VALUES('" _ query _ "', '" _ p1.exists _ "')\n" %]

Ví dụ kết quả:

INSERT INTO dns VALUES('http://google.com', '0')
INSERT INTO yandexSafeBrowsing VALUES('http://yandex.ru', '0')
INSERT INTO yandexSafeBrowsing VALUES('http://a-parser.com', '0')
INSERT INTO yandexSafeBrowsing VALUES('http://vk.com', '0')
INSERT INTO yandexSafeBrowsing VALUES('http://facebook.com', '0')

Xuất kết quả sang JSON

Định dạng kết quả chung:

[% IF notFirst;
",\n";
ELSE;
notFirst = 1;
END;

obj = {};
obj.query = query;
obj.ip = ip;

obj.json %]

Văn bản bắt đầu:

[

Văn bản kết thúc:

]

Ví dụ kết quả:

[{"ip":"31.13.79.35","query":"facebook.com"},
{"ip":"172.217.174.174","query":"google.com"},
{"ip":"5.255.255.50","query":"yandex.ru"},
{"ip":"142.250.71.14","query":"youtube.com"},
{"ip":"87.240.190.67","query":"vk.com"},
{"ip":"176.9.9.90","query":"a-parser.com"}]
mẹo

Để các tùy chọn "Prepend text" và "Append text" hiển thị trong Trình chỉnh sửa tác vụ, bạn cần kích hoạt "More options".

Các thiết lập có thể có