メインコンテンツへスキップ

SecurityTrails::Ip - SecurityTrailsからドメインデータを収集

img

スクレイパーの概要​

SecurityTrailsは、世界最大級のDNS履歴データのアーカイブです。 セキュリティ企業、研究者、およびDNSレコードの詳細な分析、不審な変更の特定、将来の詐欺や犯罪活動の防止を必要とするチーム向けのデータを提供しています。

A-Parserの機能により、スクレイピング設定を将来の使用のために保存（プリセット）したり、スクレイピングのスケジュールを設定したりすることが可能です。自動クエリ増殖、ファイルからのサブクエリの置換、英数字の組み合わせやリストの総当たりを使用して、最大限の結果を取得できます。

組み込みの強力なテンプレートエンジン Template Toolkit により、結果を必要な形式や構造で保存できます。これにより、結果に追加のロジックを適用し、JSON、SQL、CSVを含む様々なフォーマットでデータを出力できます。

収集データ​

  • Domain
  • Hosting provider
  • Alexa rank
  • Mail provider

機能​

  • ログインとパスワードによる認証
  • ページネーションの自動巡回
  • CSVテーブル、JSON、SQLiteデータベースへの結果出力

ユースケース​

  • IPアドレスからのサブドメイン取得
  • サブドメインのAlexa Rank収集
  • ホスティングプロバイダーの取得
  • メールプロバイダーの取得

クエリ​

クエリとしてipv4アドレスを指定する必要があります：

172.217.164.174

結果出力の例​

A-Parserは、組み込みのテンプレートエンジン Template Toolkit により柔軟な結果フォーマットをサポートしており、任意の形式やCSV、JSONなどの構造化された形式で結果を出力できます。

デフォルト出力​

結果フォーマット：

$list.format('$domain\n')

結果に表示されるサブドメイン：

aalt158.gaming.youtube.com
o-o.preferred.ivanticsa177a.v20.cache.c.youtube.com
o-o.preferred.alt138-batelco-bah1.v24.lscache2.c.youtube.com
o-o.preferred.sigmarprd.v20.cache.c.youtube.com
thegameofpwns.io
o-o.preferred.orange-pfightmaster.v9.lscache4.c.youtube.com
o-o.preferred.kubectlivanticsa571.v20.cache.c.youtube.com
o-o.preferred.trial-one-my.v20.cache.c.youtube.com
o-o.preferred.activestc-ruh3.v2.lscache1.c.youtube.com
test.palaash.com
shoppe33.vip

サブドメインの全データ出力​

結果フォーマット：

$list.format('$domain, $host_provider, $alexa_rank, $mail_provider\n')

結果の例：

google.com, Google LLC, 4, Google LLC
developers.google.com, Google LLC, 40, none
earth.google.com, Google LLC, 640, none
uk.youtube.com, Google LLC, 1305, none

CSVテーブルへの出力​

結果フォーマット：

[% FOREACH list; 
    tools.CSVline(domain, host_provider, alexa_rank, mail_provider);
END %]

結果の例：

google.com,"Google LLC",4,"Google LLC"
developers.google.com,"Google LLC",40,none
earth.google.com,"Google LLC",640,none
uk.youtube.com,"Google LLC",1305,none

JSONへの結果ダンプ​

共通結果形式:

[% IF notFirst;
  ",\n";
ELSE;
  notFirst = 1;
END;

obj = {};
obj.query = query;
obj.subdomains = [];

FOREACH item IN p1.list;
    obj.subdomains.push({
        domain = item.domain
        alexa_rank = item.alexa_rank
        host_provider = item.host_provider
        mail_provider = item.mail_provider
    });
END;

obj.json %]

開始テキスト:

[

終了テキスト:

]

結果の例：

[
    {
        "query": "172.217.164.174",
        "subdomains": [
            {
                "domain": "google.com",
                "mail_provider": "Google LLC",
                "host_provider": "Google LLC",
                "alexa": 4
            },
            {
                "domain": "developers.google.com",
                "mail_provider": "none",
                "host_provider": "Google LLC",
                "alexa": 40
            },
            {
                "domain": "earth.google.com",
                "mail_provider": "none",
                "host_provider": "Google LLC",
                "alexa": 640
            },
            {
                "domain": "uk.youtube.com",
                "mail_provider": "none",
                "host_provider": "Google LLC",
                "alexa": 1305
            }
        ]
    }
]
ヒント

タスクエディタで「Prepend text」および「Append text」オプションを使用するには、「More options」を有効にする必要があります。

設定可能な項目​

注記

全スクレイパー共通の設定

パラメータデフォルト値説明
MethodNewスクレイピング方法の選択 (New / Old / Account authorization)
LoginログインIDの入力
Passwordパスワードの入力