Chuyển đến nội dung chính

SecurityTrails::Domain - Thu thập dữ liệu tên miền từ SecurityTrails

img

Tổng quan về công cụ cào dữ liệu​

SecurityTrails là kho lưu trữ dữ liệu DNS lịch sử lớn nhất thế giới. Dữ liệu dành cho các công ty bảo mật, nhà nghiên cứu và các nhóm cần chi tiết hóa, tìm kiếm các thay đổi đáng ngờ trong bản ghi DNS và ngăn chặn các hoạt động gian lận hoặc tội phạm trong tương lai.

Tính năng của A-Parser cho phép lưu các cài đặt cào dữ liệu để sử dụng sau này (preset), thiết lập lịch trình cào dữ liệu và nhiều tính năng khác. Bạn có thể sử dụng tính năng tự động nhân bản truy vấn, thay thế các truy vấn phụ từ tệp, quét các tổ hợp chữ-số và danh sách để nhận được số lượng kết quả tối đa có thể.

Việc lưu kết quả có thể thực hiện dưới bất kỳ hình thức và cấu trúc nào bạn cần, nhờ vào bộ tạo mẫu mạnh mẽ được tích hợp sẵn Template Toolkit, cho phép áp dụng logic bổ sung cho kết quả và xuất dữ liệu ở nhiều định dạng khác nhau, bao gồm JSON, SQL và CSV.

Dữ liệu thu thập được​

  • Alexa rank
  • Apex domain
  • Host
  • Số lượng tên miền phụ (subdomain)
  • A records
  • TXT records
  • AAAA records
  • Ns records
  • SOA records
  • MX records
  • CNAME records
  • CNAME records pointed here
  • MX records pointed here
  • NS records pointed here
  • Các tên miền phụ
  • historical A
  • historical AAAA
  • historical MX
  • historical NS
  • historical SOA
  • historical TXT

img

img

img

Tính năng​

Lựa chọn phần Mode để thu thập dữ liệu:

Subdomain

  • https://securitytrails.com/list/apex_domain/google.com

History

  • https://securitytrails.com/domain/google.com/history/a
  • https://securitytrails.com/domain/google.com/dns

Các trường hợp sử dụng​

  • Lấy các tên miền phụ và Rank của chúng
  • Thu thập thông tin về nhà cung cấp hosting của các tên miền phụ
  • Lấy nhà cung cấp dịch vụ email của các tên miền phụ
  • Thu thập lịch sử về A, AAAA, MX, NS, SOA, TXT
  • Thu thập các bản ghi DNS của tên miền A, AAAA, MX, NS, SOA, TXT

Truy vấn​

Trong các truy vấn, bạn cần chỉ định tên miền, ví dụ:

google.com

Các tùy chọn xuất kết quả​

A-Parser hỗ trợ định dạng kết quả linh hoạt nhờ bộ tạo mẫu tích hợp Template Toolkit, cho phép xuất kết quả dưới dạng tùy ý cũng như có cấu trúc như CSV hoặc JSON.

Xuất mặc định​

Định dạng kết quả:

$query - $alexa - $apex_domain

Ví dụ kết quả:

google.com - 1 - google.com

Xuất kết quả cho các bản ghi aRecords​

Định dạng kết quả:

$aRecords.format('$ip, $stats\n')

Ví dụ kết quả:

142.250.73.238, 18037

Xuất kết quả cho các bản ghi txt​

Định dạng kết quả:

$txt.format('$record\n')

Ví dụ kết quả: 

v=spf1 include:_spf.google.com ~all
google-site-verification=wD8N7i1JTNTkezJ49swvWW48f8_9xveREV4oB-0Hf5o
globalsign-smime-dv=CDYX+XFHUw2wml6/Gb8+59BsH31KzUr6c1l2BPvqKX8=
facebook-domain-verification=22rm551cu4k0ab0bxsw536tlds4h95
docusign=1b0a6754-49b1-4db5-8540-d2c12664b289
docusign=05958488-4752-4ef2-95eb-aa7ba8a3bd0e
apple-domain-verification=30afIBcvSuDV2PLX

Xuất kết quả cho các bản ghi aaaaRecords​

Định dạng kết quả:

$aaaaRecords.format('$ip, $stats\n')

Ví dụ kết quả:

2607:f8b0:4004:82a::200e, 17294

Xuất kết quả cho các bản ghi nsRecords​

Định dạng kết quả:

$nsRecords.format('$ns, $stats\n')

Ví dụ kết quả:

ns4.google.com, 5226
ns3.google.com, 5233
ns2.google.com, 5268
ns1.google.com, 5298

Xuất kết quả cho các bản ghi mxRecords​

Định dạng kết quả:

$mxRecords.format('$p, $host, $stats\n')

Ví dụ kết quả:

aspmx.l.google.com, 13227170, 10
alt4.aspmx.l.google.com, 7665791, 50
alt3.aspmx.l.google.com, 7726366, 40
alt2.aspmx.l.google.com, 12894431, 30
alt1.aspmx.l.google.com, 12975832, 20

Xuất kết quả cho các bản ghi soaRecords​

Định dạng kết quả:

$soaRecords.format('$ttl, $email, $stats\n')

Ví dụ kết quả:

dns-admin.google.com, 147485, 900

Xuất kết quả cho các bản ghi soaRecords ra CSV​

Định dạng kết quả:

[% FOREACH soaRecords; 
    tools.CSVline(ttl, email, stats);
END %]

Ví dụ kết quả:

dns-admin.google.com,147485,900

Xuất thông tin về các tên miền phụ​

Định dạng kết quả:

$subdomains.format('$domain, $alexa, $hosting, $mail\n')

Ví dụ kết quả:

google.com, 4, Google LLC, Google LLC
plus.google.com, 11, Google LLC, 
maps.google.com, 18, Google LLC, 
play.google.com, 22, Google LLC, 
docs.google.com, 24, Google LLC, 
support.google.com, 27, Google LLC, 
sites.google.com, 36, Google LLC, 
developers.google.com, 40, Google LLC, 
apis.google.com, 44, Google LLC, 
chrome.google.com, 47, Google LLC, 
translate.google.com, 57, Google LLC

Xuất thông tin về các tên miền phụ ra bảng CSV​

Định dạng kết quả:

[% FOREACH subdomains; 
    tools.CSVline(domain, alexa, hosting, mail);
END %]

Ví dụ kết quả:

google.com,4,"Google LLC","Google LLC"
plus.google.com,11,"Google LLC",
maps.google.com,18,"Google LLC",
play.google.com,22,"Google LLC",
docs.google.com,24,"Google LLC",
support.google.com,27,"Google LLC",
sites.google.com,36,"Google LLC",
developers.google.com,40,"Google LLC"

Dump kết quả ra JSON​

Định dạng kết quả chung:

[% IF notFirst;
  ",\n";
ELSE;
  notFirst = 1;
END;

obj = {};
obj.query = query;
obj.subdomains = [];

FOREACH item IN p1.subdomains;
    obj.subdomains.push({
        domain = item.domain
        alexa = item.alexa
        hosting = item.hosting
        mail = item.mail
    });
END;

obj.json %]

Văn bản bắt đầu:

[

Văn bản kết thúc:

]

Ví dụ kết quả:

[{
    "query": "google.com",
    "subdomains": [
        {
            "domain": "google.com",
            "mail": "Google LLC",
            "hosting": "Google LLC",
            "alexa": 4
        },
        {
            "domain": "plus.google.com",
            "mail": "",
            "hosting": "Google LLC",
            "alexa": 11
        },
        {
            "domain": "maps.google.com",
            "mail": "",
            "hosting": "Google LLC",
            "alexa": 18
        }
    ]
}]
mẹo

Để các tùy chọn "Prepend text" và "Append text" hiển thị trong Trình chỉnh sửa tác vụ, bạn cần kích hoạt "More options".

Các cài đặt có thể có​

ghi chú

Cài đặt chung cho tất cả các công cụ cào dữ liệu

Tham sốGiá trị mặc địnhMô tả
ModeHistoryPhần của trang web mà dữ liệu được thu thập