SecurityTrails::Ip - Thu thập dữ liệu tên miền từ SecurityTrails
Tổng quan về công cụ cào dữ liệu
SecurityTrails là kho lưu trữ dữ liệu DNS lịch sử lớn nhất thế giới Dữ liệu dành cho các công ty bảo mật, nhà nghiên cứu và các nhóm cần chi tiết hóa, tìm kiếm các thay đổi đáng ngờ trong bản ghi DNS và ngăn chặn các hoạt động gian lận hoặc tội phạm trong tương lai.
Tính năng của A-Parser cho phép lưu các cài đặt cào dữ liệu để sử dụng sau này (presets), thiết lập lịch trình cào dữ liệu và nhiều tính năng khác. Bạn có thể sử dụng tính năng tự động nhân bản truy vấn, thay thế các truy vấn phụ từ tệp, thử các tổ hợp chữ-số và danh sách để nhận được số lượng kết quả tối đa có thể.
Việc lưu kết quả có thể thực hiện theo định dạng và cấu trúc mà bạn cần, nhờ vào bộ tạo mẫu mạnh mẽ được tích hợp sẵn Template Toolkit cho phép áp dụng logic bổ sung cho kết quả và xuất dữ liệu ở nhiều định dạng khác nhau, bao gồm JSON, SQL và CSV.
Dữ liệu thu thập được
- Domain
- Hosting provider
- Alexa rank
- Mail provider
Tính năng
- Đăng nhập bằng tên người dùng và mật khẩu
- Tự động chuyển trang (pagination)
- Xuất kết quả ra bảng CSV, JSON, cơ sở dữ liệu SQLite
Các trường hợp sử dụng
- Lấy các tên miền phụ (subdomain) theo IP
- Thu thập Alexa Rank cho các tên miền phụ
- Lấy thông tin Nhà cung cấp Hosting (Hosting Provider)
- Lấy thông tin Nhà cung cấp Mail (Mail Provider)
Truy vấn
Các địa chỉ ipv4 nên được chỉ định làm truy vấn:
172.217.164.174
Các ví dụ về định dạng kết quả
A-Parser hỗ trợ định dạng kết quả linh hoạt nhờ bộ tạo mẫu tích hợp Template Toolkit, cho phép xuất kết quả ở dạng tùy ý, cũng như dạng cấu trúc như CSV hoặc JSON
Xuất mặc định
Định dạng kết quả:
$list.format('$domain\n')
Kết quả hiển thị các tên miền phụ:
aalt158.gaming.youtube.com
o-o.preferred.ivanticsa177a.v20.cache.c.youtube.com
o-o.preferred.alt138-batelco-bah1.v24.lscache2.c.youtube.com
o-o.preferred.sigmarprd.v20.cache.c.youtube.com
thegameofpwns.io
o-o.preferred.orange-pfightmaster.v9.lscache4.c.youtube.com
o-o.preferred.kubectlivanticsa571.v20.cache.c.youtube.com
o-o.preferred.trial-one-my.v20.cache.c.youtube.com
o-o.preferred.activestc-ruh3.v2.lscache1.c.youtube.com
test.palaash.com
shoppe33.vip
Xuất tất cả dữ liệu về tên miền phụ
Định dạng kết quả:
$list.format('$domain, $host_provider, $alexa_rank, $mail_provider\n')
Ví dụ kết quả:
google.com, Google LLC, 4, Google LLC
developers.google.com, Google LLC, 40, none
earth.google.com, Google LLC, 640, none
uk.youtube.com, Google LLC, 1305, none
Xuất ra bảng CSV
Định dạng kết quả:
[% FOREACH list;
tools.CSVline(domain, host_provider, alexa_rank, mail_provider);
END %]
Ví dụ kết quả:
google.com,"Google LLC",4,"Google LLC"
developers.google.com,"Google LLC",40,none
earth.google.com,"Google LLC",640,none
uk.youtube.com,"Google LLC",1305,none
Dump kết quả ra JSON
Định dạng kết quả chung:
[% IF notFirst;
",\n";
ELSE;
notFirst = 1;
END;
obj = {};
obj.query = query;
obj.subdomains = [];
FOREACH item IN p1.list;
obj.subdomains.push({
domain = item.domain
alexa_rank = item.alexa_rank
host_provider = item.host_provider
mail_provider = item.mail_provider
});
END;
obj.json %]
Văn bản bắt đầu:
[
Văn bản kết thúc:
]
Ví dụ kết quả:
[
{
"query": "172.217.164.174",
"subdomains": [
{
"domain": "google.com",
"mail_provider": "Google LLC",
"host_provider": "Google LLC",
"alexa": 4
},
{
"domain": "developers.google.com",
"mail_provider": "none",
"host_provider": "Google LLC",
"alexa": 40
},
{
"domain": "earth.google.com",
"mail_provider": "none",
"host_provider": "Google LLC",
"alexa": 640
},
{
"domain": "uk.youtube.com",
"mail_provider": "none",
"host_provider": "Google LLC",
"alexa": 1305
}
]
}
]
Để các tùy chọn "Prepend text" và "Append text" có sẵn trong Trình chỉnh sửa tác vụ, bạn cần kích hoạt "More options".
Các thiết lập có thể có
| Tham số | Giá trị mặc định | Mô tả |
|---|---|---|
| Method | New | Chọn phương pháp cào dữ liệu (New / Old / Account authorization) |
| Login | Nhập tên đăng nhập | |
| Password | Nhập mật khẩu |