跳转到主要内容

SecurityTrails::Ip - 从 SecurityTrails 采集域名数据

图片

SecurityTrails 爬虫工具概览​

SecurityTrails 是全球最大的历史 DNS 数据存储库。 这些数据适用于安全公司、研究人员和团队，帮助他们进行详细分析、发现 DNS 记录中的可疑更改，并预防未来的欺诈或犯罪活动。

A-Parser 的功能允许保存数据抓取设置以供将来使用（预设），设置数据抓取计划等等。您可以使用查询自动扩展、从文件替换子查询、遍历数字字母组合和列表，以获取尽可能多的结果。

由于内置了强大的模板引擎 Template Toolkit，可以将结果保存为您需要的任何形式和结构，该引擎允许对结果应用额外的逻辑，并以各种格式输出数据，包括 JSON、SQL 和 CSV。

采集的数据​

  • Domain
  • Hosting provider
  • Alexa rank
  • Mail provider

功能​

  • 支持登录名和密码授权
  • 自动翻页处理
  • 将结果输出到 CSV 表格、JSON、SQLite 数据库

应用场景​

  • 通过 IP 获取子域名
  • 采集子域名的 Alexa 排名
  • 获取托管服务商 (Hosting Provider)
  • 获取邮件服务商 (Mail Provider)

查询​

应将 IPv4 地址作为查询内容：

172.217.164.174

结果输出选项​

A-Parser 凭借内置的模板引擎 Template Toolkit 支持灵活的结果格式化，这使其能够以任意形式以及结构化形式（如 CSV 或 JSON）输出结果。

默认输出​

结果格式：

$list.format('$domain\n')

结果中显示的子域名：

aalt158.gaming.youtube.com
o-o.preferred.ivanticsa177a.v20.cache.c.youtube.com
o-o.preferred.alt138-batelco-bah1.v24.lscache2.c.youtube.com
o-o.preferred.sigmarprd.v20.cache.c.youtube.com
thegameofpwns.io
o-o.preferred.orange-pfightmaster.v9.lscache4.c.youtube.com
o-o.preferred.kubectlivanticsa571.v20.cache.c.youtube.com
o-o.preferred.trial-one-my.v20.cache.c.youtube.com
o-o.preferred.activestc-ruh3.v2.lscache1.c.youtube.com
test.palaash.com
shoppe33.vip

输出所有子域名数据​

结果格式：

$list.format('$domain, $host_provider, $alexa_rank, $mail_provider\n')

结果示例：

google.com, Google LLC, 4, Google LLC
developers.google.com, Google LLC, 40, none
earth.google.com, Google LLC, 640, none
uk.youtube.com, Google LLC, 1305, none

输出到 CSV 表格​

结果格式：

[% FOREACH list; 
    tools.CSVline(domain, host_provider, alexa_rank, mail_provider);
END %]

结果示例：

google.com,"Google LLC",4,"Google LLC"
developers.google.com,"Google LLC",40,none
earth.google.com,"Google LLC",640,none
uk.youtube.com,"Google LLC",1305,none

将结果转储为 JSON​

通用结果格式：

[% IF notFirst;
  ",\n";
ELSE;
  notFirst = 1;
END;

obj = {};
obj.query = query;
obj.subdomains = [];

FOREACH item IN p1.list;
    obj.subdomains.push({
        domain = item.domain
        alexa_rank = item.alexa_rank
        host_provider = item.host_provider
        mail_provider = item.mail_provider
    });
END;

obj.json %]

起始文本：

[

结束文本：

]

结果示例：

[
    {
        "query": "172.217.164.174",
        "subdomains": [
            {
                "domain": "google.com",
                "mail_provider": "Google LLC",
                "host_provider": "Google LLC",
                "alexa": 4
            },
            {
                "domain": "developers.google.com",
                "mail_provider": "none",
                "host_provider": "Google LLC",
                "alexa": 40
            },
            {
                "domain": "earth.google.com",
                "mail_provider": "none",
                "host_provider": "Google LLC",
                "alexa": 640
            },
            {
                "domain": "uk.youtube.com",
                "mail_provider": "none",
                "host_provider": "Google LLC",
                "alexa": 1305
            }
        ]
    }
]
提示

要在任务编辑器中使用“Prepend text”和“Append text”选项，需要激活“More options”。

可能的设置​

备注

所有爬虫工具的通用设置

参数默认值描述
MethodNew选择数据抓取方法 (New / Old / Account authorization)
Login输入登录名
Password输入密码