Перейти к основному содержимому

SecurityTrails::Domain: Сбор данных о домене из SecurityTrails

Обзор парсера SecurityTrails Domain#

img

SecurityTrails - это крупнейшее в мире хранилище исторических данных DNS Данные для охранных компаний, исследователей и групп, которым необходимо детализировать, находить подозрительные изменения в записях DNS и предотвращать будущую мошенническую или преступную деятельность.

Функционал A-Parser позволяет сохранять настройки парсинга для дальнейшего использования (пресеты), задавать расписание парсинга и многое другое. Вы можете использовать автоматическое размножение запросов, подстановку подзапросов из файлов, перебор цифро-буквенных комбинаций и списков для получения максимально возможного количества результатов.

Сохранение результатов возможно в том виде и структуре которая вам необходима, благодаря встроенному мощному шаблонизатору Template Toolkit который позволяет применять дополнительную логику к результатам и выводить данные в различных форматах, включая JSON, SQL и CSV.

Собираемые данные#

  • Alexa rank
  • Apex domain
  • Host
  • Количество сабдоменов
  • A records
  • TXT records
  • AAAA records
  • Ns records
  • SOA records
  • MX records
  • CNAME records
  • CNAME records pointed here
  • MX records pointed here
  • NS records pointed here
  • Сабдомены
  • historical A
  • historical AAAA
  • historical MX
  • historical NS
  • historical SOA
  • historical TXT

img

img

img

Возможности#

Выбор раздела (Mode) из которого собираются данные.

Данные собираются со страниц:

  • Subdomain

    • https://securitytrails.com/list/apex_domain/a-parser.com
  • History

    • https://securitytrails.com/domain/a-parser.com/history/a

    • https://securitytrails.com/domain/a-parser.com/dns

Варианты использования#

  • Получение сабдоменов и их Rank
  • Сбор информации о хостинг провайдере сабдоменов
  • Получение почтового провайдера сабдоменов
  • Сбор истории об A, AAAA, MX, NS, SOA, TXT
  • Сбор DNS-записей домена A, AAAA, MX, NS, SOA, TXT

Запросы#

В качестве запросов необходимо указывать домены, например:

a-parser.com
google.com

Результаты#

По умолчанию в результате отображены Запрос, Alexa Rank, Apex domain

google.com - 1 - google.com
a-parser.com - 350205 - a-parser.com

Варианты вывода результатов#

A-Parser поддерживает гибкое форматирование результатов благодаря встроенному шаблонизатору Template Toolkit, что позволяет ему выводить результаты в произвольной форме, а также в структуированной, например CSV или JSON

Вывод результатов для для A, AAAA, MX, NS, SOA, TXT записей#

Формат результата:

$aRecords.format('$ip, $stats\n')

Пример результата:

142.250.73.238, 18037

Формат результата:

$txt.format('$record\n')

Пример результата:

v=spf1 include:_spf.google.com ~all
google-site-verification=wD8N7i1JTNTkezJ49swvWW48f8_9xveREV4oB-0Hf5o
globalsign-smime-dv=CDYX+XFHUw2wml6/Gb8+59BsH31KzUr6c1l2BPvqKX8=
facebook-domain-verification=22rm551cu4k0ab0bxsw536tlds4h95
docusign=1b0a6754-49b1-4db5-8540-d2c12664b289
docusign=05958488-4752-4ef2-95eb-aa7ba8a3bd0e
apple-domain-verification=30afIBcvSuDV2PLX

Формат результата:

$aaaaRecords.format('$ip, $stats\n')

Пример результата:

2607:f8b0:4004:82a::200e, 17294

Формат результата:

$nsRecords.format('$ns, $stats\n')

Пример результата:

ns4.google.com, 5226
ns3.google.com, 5233
ns2.google.com, 5268
ns1.google.com, 5298

Формат результата:

$soaRecords.format('$ttl, $email, $stats\n')

Пример результата:

dns-admin.google.com, 147485, 900

Формат результата:

$mxRecords.format('$p, $host, $stats\n')

Пример результата:

aspmx.l.google.com, 13227170, 10
alt4.aspmx.l.google.com, 7665791, 50
alt3.aspmx.l.google.com, 7726366, 40
alt2.aspmx.l.google.com, 12894431, 30
alt1.aspmx.l.google.com, 12975832, 20

Вывод результатов для для A, AAAA, MX, NS, SOA, TXT записей в CSV#

Формат результата:

[% FOREACH soaRecords;
tools.CSVline(ttl, email, stats);
END; %]

Пример результата:

dns-admin.google.com,147485,900

Вывод информации о сабдоменах#

Формат результата:

$subdomains.format('$domain, $alexa, $hosting, $mail\n')

Пример результата:

google.com, 4, Google LLC, Google LLC
plus.google.com, 11, Google LLC,
maps.google.com, 18, Google LLC,
play.google.com, 22, Google LLC,
docs.google.com, 24, Google LLC,
support.google.com, 27, Google LLC,
sites.google.com, 36, Google LLC,
developers.google.com, 40, Google LLC,
apis.google.com, 44, Google LLC,
chrome.google.com, 47, Google LLC,
translate.google.com, 57, Google LLC

Вывод информации о сабдоменах в CSV#

Формат результата:

[% FOREACH subdomains;
tools.CSVline(domain, alexa, hosting, mail);
END; %]

Пример результата:

google.com,4,"Google LLC","Google LLC"
plus.google.com,11,"Google LLC",
maps.google.com,18,"Google LLC",
play.google.com,22,"Google LLC",
docs.google.com,24,"Google LLC",
support.google.com,27,"Google LLC",
sites.google.com,36,"Google LLC",
developers.google.com,40,"Google LLC"

Пример вывода в JSON#

Начальный текст

[% data = {} %]

Конечный текст

[% data.json %]

Формат результата:

[%
data.query = query;
data.subdomains = [];
FOREACH subdomains;
item = {};
item.domain = domain;
item.alexa = alexa;
item.hosting = hosting;
item.mail = mail;
data.subdomains.push(item);
END;
result = {};
result = data;
%]

Пример результата:

{
"subdomains": [
{
"domain": "google.com",
"mail": "Google LLC",
"hosting": "Google LLC",
"alexa": 4
},
{
"domain": "plus.google.com",
"mail": "",
"hosting": "Google LLC",
"alexa": 11
},
{
"domain": "maps.google.com",
"mail": "",
"hosting": "Google LLC",
"alexa": 18
}
],
"query": "google.com"
}
tip

Чтобы опции "Начальный текст" и "Конечный текст" были доступны в Редакторе заданий, нужно активировать "Больше опций".

Возможные настройки#

ПараметрЗначение по умолчаниюОписание
ModeHistoryРаздел сайта из которого собираются данные
Последнее обновление