SecurityTrails::Domain - SecurityTrailsからドメインデータを収集

スクレイパーの概要

SecurityTrailsは、世界最大のDNS履歴データのアーカイブです。 このデータは、セキュリティ企業、研究者、および詳細な分析、DNSレコードの不審な変更の特定、将来の詐欺や犯罪活動の防止を必要とするチーム向けに提供されています。

A-Parserの機能により、スクレイピング設定を将来の使用のために保存（プリセット）したり、スクレイピングのスケジュールを設定したりすることが可能です。自動クエリ増殖、ファイルからのサブクエリの置換、英数字の組み合わせやリストの総当たりを使用して、最大限の情報を取得できます。

組み込みの強力なテンプレートエンジン Template Toolkit により、結果を必要な形式や構造で保存できます。これにより、結果に追加のロジックを適用したり、JSON、SQL、CSVを含む様々なフォーマットでデータを出力したりできます。

オンラインデモへA-Parser Proを購入 ($299)

収集データ

• Alexa rank
• Apex domain
• Host
• サブドメイン数
• A records
• TXT records
• AAAA records
• Ns records
• SOA records
• MX records
• CNAME records
• CNAME records pointed here
• MX records pointed here
• NS records pointed here
• サブドメイン
• historical A
• historical AAAA
• historical MX
• historical NS
• historical SOA
• historical TXT

機能

データ収集元の Mode セクションの選択：

Subdomain

• https://securitytrails.com/list/apex_domain/google.com

History

• https://securitytrails.com/domain/google.com/history/a
• https://securitytrails.com/domain/google.com/dns

ユースケース

• サブドメインとそのRankの取得
• サブドメインのホスティングプロバイダー情報の収集
• サブドメインのメールプロバイダーの取得
• A, AAAA, MX, NS, SOA, TXTの履歴収集
• ドメインのDNSレコード（A, AAAA, MX, NS, SOA, TXT）の収集

クエリ

クエリとしてドメインを指定する必要があります。例：

google.com

結果の出力例

A-Parserは、組み込みのテンプレートエンジン Template Toolkit により柔軟な結果フォーマットをサポートしており、任意の形式やCSV、JSONなどの構造化された形式で結果を出力できます。

デフォルト出力

結果フォーマット：

$query - $alexa - $apex_domain

結果の例：

google.com - 1 - google.com

aRecords レコードの出力結果

結果フォーマット：

$aRecords.format('$ip, $stats\n')

結果の例：

142.250.73.238, 18037

txt レコードの出力結果

結果フォーマット：

$txt.format('$record\n')

結果の例：

v=spf1 include:_spf.google.com ~all
google-site-verification=wD8N7i1JTNTkezJ49swvWW48f8_9xveREV4oB-0Hf5o
globalsign-smime-dv=CDYX+XFHUw2wml6/Gb8+59BsH31KzUr6c1l2BPvqKX8=
facebook-domain-verification=22rm551cu4k0ab0bxsw536tlds4h95
docusign=1b0a6754-49b1-4db5-8540-d2c12664b289
docusign=05958488-4752-4ef2-95eb-aa7ba8a3bd0e
apple-domain-verification=30afIBcvSuDV2PLX

aaaaRecords レコードの出力結果

結果フォーマット：

$aaaaRecords.format('$ip, $stats\n')

結果の例：

2607:f8b0:4004:82a::200e, 17294

nsRecords レコードの出力結果

結果フォーマット：

$nsRecords.format('$ns, $stats\n')

結果の例：

ns4.google.com, 5226
ns3.google.com, 5233
ns2.google.com, 5268
ns1.google.com, 5298

mxRecords レコードの出力結果

結果フォーマット：

$mxRecords.format('$p, $host, $stats\n')

結果の例：

aspmx.l.google.com, 13227170, 10
alt4.aspmx.l.google.com, 7665791, 50
alt3.aspmx.l.google.com, 7726366, 40
alt2.aspmx.l.google.com, 12894431, 30
alt1.aspmx.l.google.com, 12975832, 20

soaRecords レコードの出力結果

結果フォーマット：

$soaRecords.format('$ttl, $email, $stats\n')

結果の例：

dns-admin.google.com, 147485, 900

soaRecords レコードのCSV出力

結果フォーマット：

[% FOREACH soaRecords; 
    tools.CSVline(ttl, email, stats);
END %]

結果の例：

dns-admin.google.com,147485,900

サブドメイン情報の出力

結果フォーマット：

$subdomains.format('$domain, $alexa, $hosting, $mail\n')

結果の例：

google.com, 4, Google LLC, Google LLC
plus.google.com, 11, Google LLC, 
maps.google.com, 18, Google LLC, 
play.google.com, 22, Google LLC, 
docs.google.com, 24, Google LLC, 
support.google.com, 27, Google LLC, 
sites.google.com, 36, Google LLC, 
developers.google.com, 40, Google LLC, 
apis.google.com, 44, Google LLC, 
chrome.google.com, 47, Google LLC, 
translate.google.com, 57, Google LLC

サブドメイン情報のCSVテーブル出力

結果フォーマット：

[% FOREACH subdomains; 
    tools.CSVline(domain, alexa, hosting, mail);
END %]

結果の例：

google.com,4,"Google LLC","Google LLC"
plus.google.com,11,"Google LLC",
maps.google.com,18,"Google LLC",
play.google.com,22,"Google LLC",
docs.google.com,24,"Google LLC",
support.google.com,27,"Google LLC",
sites.google.com,36,"Google LLC",
developers.google.com,40,"Google LLC"

結果のJSONダンプ

共通結果形式:

[% IF notFirst;
  ",\n";
ELSE;
  notFirst = 1;
END;

obj = {};
obj.query = query;
obj.subdomains = [];

FOREACH item IN p1.subdomains;
    obj.subdomains.push({
        domain = item.domain
        alexa = item.alexa
        hosting = item.hosting
        mail = item.mail
    });
END;

obj.json %]

開始テキスト:

[

終了テキスト:

]

結果の例：

[{
    "query": "google.com",
    "subdomains": [
        {
            "domain": "google.com",
            "mail": "Google LLC",
            "hosting": "Google LLC",
            "alexa": 4
        },
        {
            "domain": "plus.google.com",
            "mail": "",
            "hosting": "Google LLC",
            "alexa": 11
        },
        {
            "domain": "maps.google.com",
            "mail": "",
            "hosting": "Google LLC",
            "alexa": 18
        }
    ]
}]

ヒント

「Prepend text」および「Append text」オプションをタスクエディタで利用するには、「More options」を有効にする必要があります。

設定可能項目

注記

全スクレイパー共通の設定

パラメータ	デフォルト値	説明
Mode	History	データを収集するサイトのセクション