SecurityTrails::Domain - 从 SecurityTrails 采集域名数据
爬虫工具概览
SecurityTrails 是全球最大的 DNS 历史数据存储库。 这些数据适用于安全公司、研究人员和团队，他们需要进行详细分析、发现 DNS 记录中的可疑更改并防止未来的欺诈或犯罪活动。
A-Parser 的功能允许保存数据抓取设置以供将来使用（预设）、设置数据抓取计划等等。您可以使用自动查询扩展、从文件替换子查询、遍历数字字母组合和列表，以获取尽可能多的结果。
由于内置了强大的 Template Toolkit 模板引擎，可以将结果保存为您需要的任何形式和结构，该引擎允许对结果应用额外的逻辑，并以各种格式输出数据，包括 JSON、SQL 和 CSV。
采集的数据
- Alexa rank
- Apex domain
- Host
- 子域名数量
- A records
- TXT records
- AAAA records
- Ns records
- SOA records
- MX records
- CNAME records
- CNAME records pointed here
- MX records pointed here
- NS records pointed here
- 子域名
- historical A
- historical AAAA
- historical MX
- historical NS
- historical SOA
- historical TXT
功能
选择采集数据的 Mode 章节：
Subdomain
- https://securitytrails.com/list/apex_domain/google.com
History
- https://securitytrails.com/domain/google.com/history/a
- https://securitytrails.com/domain/google.com/dns
应用场景
- 获取子域名及其 Rank
- 采集子域名的托管服务商信息
- 获取子域名的邮件服务商
- 采集 A, AAAA, MX, NS, SOA, TXT 的历史记录
- 采集域名的 DNS 记录 A, AAAA, MX, NS, SOA, TXT
查询
查询时需要指定域名，例如：
google.com
结果输出选项
A-Parser 凭借内置的模板引擎 Template Toolkit 支持灵活的结果格式化，这使其能够以任意形式以及结构化形式（如 CSV 或 JSON）输出结果。
默认输出
结果格式：
$query - $alexa - $apex_domain
结果示例：
google.com - 1 - google.com
aRecords 记录的结果输出
结果格式：
$aRecords.format('$ip, $stats\n')
结果示例：
142.250.73.238, 18037
txt 记录的结果输出
结果格式：
$txt.format('$record\n')
结果示例：
v=spf1 include:_spf.google.com ~all
google-site-verification=wD8N7i1JTNTkezJ49swvWW48f8_9xveREV4oB-0Hf5o
globalsign-smime-dv=CDYX+XFHUw2wml6/Gb8+59BsH31KzUr6c1l2BPvqKX8=
facebook-domain-verification=22rm551cu4k0ab0bxsw536tlds4h95
docusign=1b0a6754-49b1-4db5-8540-d2c12664b289
docusign=05958488-4752-4ef2-95eb-aa7ba8a3bd0e
apple-domain-verification=30afIBcvSuDV2PLX
aaaaRecords 记录的结果输出
结果格式：
$aaaaRecords.format('$ip, $stats\n')
结果示例：
2607:f8b0:4004:82a::200e, 17294
nsRecords 记录的结果输出
结果格式：
$nsRecords.format('$ns, $stats\n')
结果示例：
ns4.google.com, 5226
ns3.google.com, 5233
ns2.google.com, 5268
ns1.google.com, 5298
mxRecords 记录的结果输出
结果格式：
$mxRecords.format('$p, $host, $stats\n')
结果示例：
aspmx.l.google.com, 13227170, 10
alt4.aspmx.l.google.com, 7665791, 50
alt3.aspmx.l.google.com, 7726366, 40
alt2.aspmx.l.google.com, 12894431, 30
alt1.aspmx.l.google.com, 12975832, 20
soaRecords 记录的结果输出
结果格式：
$soaRecords.format('$ttl, $email, $stats\n')
结果示例：
dns-admin.google.com, 147485, 900
soaRecords 记录输出到 CSV
结果格式：
[% FOREACH soaRecords;
tools.CSVline(ttl, email, stats);
END %]
结果示例：
dns-admin.google.com,147485,900
子域名信息输出
结果格式：
$subdomains.format('$domain, $alexa, $hosting, $mail\n')
结果示例：
google.com, 4, Google LLC, Google LLC
plus.google.com, 11, Google LLC,
maps.google.com, 18, Google LLC,
play.google.com, 22, Google LLC,
docs.google.com, 24, Google LLC,
support.google.com, 27, Google LLC,
sites.google.com, 36, Google LLC,
developers.google.com, 40, Google LLC,
apis.google.com, 44, Google LLC,
chrome.google.com, 47, Google LLC,
translate.google.com, 57, Google LLC
子域名信息输出到 CSV 表格
结果格式：
[% FOREACH subdomains;
tools.CSVline(domain, alexa, hosting, mail);
END %]
结果示例：
google.com,4,"Google LLC","Google LLC"
plus.google.com,11,"Google LLC",
maps.google.com,18,"Google LLC",
play.google.com,22,"Google LLC",
docs.google.com,24,"Google LLC",
support.google.com,27,"Google LLC",
sites.google.com,36,"Google LLC",
developers.google.com,40,"Google LLC"
将结果转储为 JSON
通用结果格式：
[% IF notFirst;
",\n";
ELSE;
notFirst = 1;
END;
obj = {};
obj.query = query;
obj.subdomains = [];
FOREACH item IN p1.subdomains;
obj.subdomains.push({
domain = item.domain
alexa = item.alexa
hosting = item.hosting
mail = item.mail
});
END;
obj.json %]
起始文本：
[
结束文本：
]
结果示例：
[{
"query": "google.com",
"subdomains": [
{
"domain": "google.com",
"mail": "Google LLC",
"hosting": "Google LLC",
"alexa": 4
},
{
"domain": "plus.google.com",
"mail": "",
"hosting": "Google LLC",
"alexa": 11
},
{
"domain": "maps.google.com",
"mail": "",
"hosting": "Google LLC",
"alexa": 18
}
]
}]
提示
要在任务编辑器中使用“Prepend text”和“Append text”选项，需要激活“More options”。
可能的设置
| 参数 | 默认值 | 描述 |
|---|---|---|
| Mode | History | 采集数据的网站章节 |