Chuyển đến nội dung chính

Net::DNS - công cụ cào dữ liệu phân giải tên miền sang địa chỉ IP

Tổng quan về công cụ cào dữ liệu​

Tổng quan về công cụ cào dữ liệuNet::DNSNet::DNS – thu thập các bản ghi DNS của tên miền. Tự động hóa việc phân giải hàng loạt cơ sở dữ liệu tên miền, kiểm tra tính khả dụng của tên miền.

Tính năng của A-Parser cho phép lưu các thiết lập cào dữ liệu của công cụ Net::DNS để sử dụng sau này (mẫu thiết lập), đặt lịch trình cào dữ liệu và nhiều tính năng khác.

Việc lưu kết quả có thể thực hiện dưới bất kỳ hình thức và cấu trúc nào bạn cần, nhờ vào bộ tạo mẫu mạnh mẽ tích hợp Template Toolkit cho phép áp dụng logic bổ sung cho kết quả và xuất dữ liệu ở nhiều định dạng khác nhau, bao gồm JSON, SQL và CSV.

Dữ liệu thu thập được​

  • Danh sách địa chỉ IP
  • Máy chủ DNS đã sử dụng khi truy vấn thành công
  • Bản ghi DNS của bất kỳ loại nào (được xuất dưới dạng JSON, giúp thuận tiện để lấy các thông số riêng lẻ của chúng)

Các trường hợp sử dụng​

  • Phân giải (resolving) danh sách tên miền
  • Kiểm tra tính khả dụng của tên miền

Truy vấn​

Trong phần truy vấn, bạn cần chỉ định danh sách các tên miền, ví dụ:

a-parser.com  
yandex.ru  
google.com  
vk.com  
facebook.com  
youtube.com

Các ví dụ xuất kết quả​

A-Parser hỗ trợ định dạng kết quả linh hoạt nhờ bộ tạo mẫu tích hợp Template Toolkit, cho phép xuất kết quả dưới dạng tùy ý, cũng như dạng có cấu trúc như CSV hoặc JSON

Xuất mặc định​

Định dạng kết quả:

$query: $ip ($ips.format('$ip, '))\n

Kết quả hiển thị tên miền và các địa chỉ IP của nó:

youtube.com: 173.194.70.136 (173.194.70.136, 173.194.70.190, 173.194.70.93, 173.194.70.91, )  
google.com: 46.28.247.98 (46.28.247.98, 46.28.247.89, 46.28.247.84, 46.28.247.108, 46.28.247.119, 46.28.247.114, 46.28.247.88, 46.28.247.94, 46.28.247.99, 46.28.247.109, 46.28.247.93, 46.28.247.104, 46.28.247.113, 46.28.247.118, 46.28.247.123, 46.28.247.103, )  
facebook.com: 173.252.110.27 (173.252.110.27, )  
a-parser.com: 176.9.9.90 (176.9.9.90, )  
vk.com: 87.240.143.244 (87.240.143.244, 87.240.131.120, )  
yandex.ru: 93.158.134.11 (93.158.134.11, 213.180.193.11, 213.180.204.11, 77.88.21.11, 87.250.250.11, )

Lưu dưới định dạng SQL​

Định dạng kết quả:

[% "INSERT INTO dns VALUES('" _ query _ "', '" _ ip _ "', '" _ ips.format('$ip, ') _ "')\n" %]

Ví dụ kết quả:

INSERT INTO dns VALUES('vk.com', '87.240.190.67', '87.240.190.67, 87.240.190.72, 87.240.190.78, 93.186.225.208, 87.240.137.158, 87.240.139.194, ')
INSERT INTO dns VALUES('a-parser.com', '176.9.9.90', '176.9.9.90, ')
INSERT INTO dns VALUES('yandex.ru', '5.255.255.50', '5.255.255.50, 77.88.55.50, 77.88.55.88, 5.255.255.5, ')
INSERT INTO dns VALUES('facebook.com', '157.240.19.35', '157.240.19.35, ')
INSERT INTO dns VALUES('youtube.com', '172.217.171.238', '172.217.171.238, ')

Xuất kết quả sang JSON​

Định dạng kết quả chung:

[% IF notFirst;
  ",\n";
ELSE;
  notFirst = 1;
END;

obj = {};
obj.query = query;
obj.ips = p1.ips;

obj.json %]

Văn bản bắt đầu:

[

Văn bản kết thúc:

]

Ví dụ kết quả:

[
    {"ips":[{"ip":"176.9.9.90"}],"query":"http://a-parser.com/"},
    {"ips":[{"ip":"172.217.173.78"}],"query":"http://google.com/"},
    {"ips":[{"ip":"77.88.55.60"},{"ip":"77.88.55.66"},{"ip":"5.255.255.55"},{"ip":"5.255.255.60"}],"query":"http://yandex.ru/"},
    {"ips":[{"ip":"172.217.25.14"}],"query":"http://youtube.com/"},
    {"ips":[{"ip":"87.240.190.78"},{"ip":"93.186.225.208"},{"ip":"87.240.137.158"},{"ip":"87.240.139.194"},{"ip":"87.240.190.67"},{"ip":"87.240.190.72"}],"query":"http://vk.com/"},
    {"ips":[{"ip":"157.240.196.35"}],"query":"http://facebook.com/"}
]
mẹo

Để các tùy chọn "Prepend text" và "Append text" hiển thị trong Trình chỉnh sửa tác vụ, bạn cần kích hoạt "More options".

Các thiết lập có thể​

ghi chú

Cài đặt chung cho tất cả các công cụ cào dữ liệu

Tham sốGiá trị mặc địnhMô tả
DNS Servers208.67.220.220, 8.8.8.8Hỗ trợ nhiều máy chủ cách nhau bởi dấu phẩy
Not found is error☐Cho phép kiểm tra lại các phản hồi giả từ máy chủ DNS
Rotation typeConsistentlyPhương pháp chọn máy chủ DNS tiếp theo (Tuần tự/Ngẫu nhiên)
Ban not working servers☑Chặn các máy chủ không hoạt động theo thuật toán heuristic trong 20 phút, nếu chỉ còn một máy chủ - nó sẽ không bị chặn
Query typeA - Address recordCho phép chọn loại bản ghi