SecurityTrails::Domain - Сбор данных о домене из SecurityTrails

Обзор парсера

SecurityTrails - это крупнейшее в мире хранилище исторических данных DNS Данные для охранных компаний, исследователей и групп, которым необходимо детализировать, находить подозрительные изменения в записях DNS и предотвращать будущую мошенническую или преступную деятельность.

Функционал A-Parser позволяет сохранять настройки парсинга для дальнейшего использования (пресеты), задавать расписание парсинга и многое другое. Вы можете использовать автоматическое размножение запросов, подстановку подзапросов из файлов, перебор цифро-буквенных комбинаций и списков для получения максимально возможного количества результатов.

Сохранение результатов возможно в том виде и структуре которая вам необходима, благодаря встроенному мощному шаблонизатору Template Toolkit который позволяет применять дополнительную логику к результатам и выводить данные в различных форматах, включая JSON, SQL и CSV.

Перейти к ДЕМОКупить A-Parser Pro ($299)

Собираемые данные

• Alexa rank
• Apex domain
• Host
• Количество сабдоменов
• A records
• TXT records
• AAAA records
• Ns records
• SOA records
• MX records
• CNAME records
• CNAME records pointed here
• MX records pointed here
• NS records pointed here
• Сабдомены
• historical A
• historical AAAA
• historical MX
• historical NS
• historical SOA
• historical TXT

Возможности

Выбор раздела Mode из которого собираются данные:

Subdomain

• https://securitytrails.com/list/apex_domain/google.com

History

• https://securitytrails.com/domain/google.com/history/a
• https://securitytrails.com/domain/google.com/dns

Варианты использования

• Получение сабдоменов и их Rank
• Сбор информации о хостинг провайдере сабдоменов
• Получение почтового провайдера сабдоменов
• Сбор истории об A, AAAA, MX, NS, SOA, TXT
• Сбор DNS-записей домена A, AAAA, MX, NS, SOA, TXT

Запросы

В качестве запросов необходимо указывать домены, например:

google.com

Варианты вывода результатов

A-Parser поддерживает гибкое форматирование результатов благодаря встроенному шаблонизатору Template Toolkit, что позволяет ему выводить результаты в произвольной форме, а также в структуированной, например CSV или JSON

Вывод по умолчанию

Формат результата:

$query - $alexa - $apex_domain

Пример результата:

google.com - 1 - google.com

Вывод результатов для aRecords записей

Формат результата:

$aRecords.format('$ip, $stats\n')

Пример результата:

142.250.73.238, 18037

Вывод результатов для txt записей

Формат результата:

$txt.format('$record\n')

Пример результата:

v=spf1 include:_spf.google.com ~all
google-site-verification=wD8N7i1JTNTkezJ49swvWW48f8_9xveREV4oB-0Hf5o
globalsign-smime-dv=CDYX+XFHUw2wml6/Gb8+59BsH31KzUr6c1l2BPvqKX8=
facebook-domain-verification=22rm551cu4k0ab0bxsw536tlds4h95
docusign=1b0a6754-49b1-4db5-8540-d2c12664b289
docusign=05958488-4752-4ef2-95eb-aa7ba8a3bd0e
apple-domain-verification=30afIBcvSuDV2PLX

Вывод результатов для aaaaRecords записей

Формат результата:

$aaaaRecords.format('$ip, $stats\n')

Пример результата:

2607:f8b0:4004:82a::200e, 17294

Вывод результатов для nsRecords записей

Формат результата:

$nsRecords.format('$ns, $stats\n')

Пример результата:

ns4.google.com, 5226
ns3.google.com, 5233
ns2.google.com, 5268
ns1.google.com, 5298

Вывод результатов для mxRecords записей

Формат результата:

$mxRecords.format('$p, $host, $stats\n')

Пример результата:

aspmx.l.google.com, 13227170, 10
alt4.aspmx.l.google.com, 7665791, 50
alt3.aspmx.l.google.com, 7726366, 40
alt2.aspmx.l.google.com, 12894431, 30
alt1.aspmx.l.google.com, 12975832, 20

Вывод результатов для soaRecords записей

Формат результата:

$soaRecords.format('$ttl, $email, $stats\n')

Пример результата:

dns-admin.google.com, 147485, 900

Вывод результатов для soaRecords записей в CSV

Формат результата:

[% FOREACH soaRecords; 
    tools.CSVline(ttl, email, stats);
END %]

Пример результата:

dns-admin.google.com,147485,900

Вывод информации о сабдоменах

Формат результата:

$subdomains.format('$domain, $alexa, $hosting, $mail\n')

Пример результата:

google.com, 4, Google LLC, Google LLC
plus.google.com, 11, Google LLC, 
maps.google.com, 18, Google LLC, 
play.google.com, 22, Google LLC, 
docs.google.com, 24, Google LLC, 
support.google.com, 27, Google LLC, 
sites.google.com, 36, Google LLC, 
developers.google.com, 40, Google LLC, 
apis.google.com, 44, Google LLC, 
chrome.google.com, 47, Google LLC, 
translate.google.com, 57, Google LLC

Вывод информации о сабдоменах в таблицу CSV

Формат результата:

[% FOREACH subdomains; 
    tools.CSVline(domain, alexa, hosting, mail);
END %]

Пример результата:

google.com,4,"Google LLC","Google LLC"
plus.google.com,11,"Google LLC",
maps.google.com,18,"Google LLC",
play.google.com,22,"Google LLC",
docs.google.com,24,"Google LLC",
support.google.com,27,"Google LLC",
sites.google.com,36,"Google LLC",
developers.google.com,40,"Google LLC"

Дамп результатов в JSON

Общий формат результата:

[% IF notFirst;
  ",\n";
ELSE;
  notFirst = 1;
END;

obj = {};
obj.query = query;
obj.subdomains = [];

FOREACH item IN p1.subdomains;
    obj.subdomains.push({
        domain = item.domain
        alexa = item.alexa
        hosting = item.hosting
        mail = item.mail
    });
END;

obj.json %]

Начальный текст:

[

Конечный текст:

]

Пример результата:

[{
    "query": "google.com",
    "subdomains": [
        {
            "domain": "google.com",
            "mail": "Google LLC",
            "hosting": "Google LLC",
            "alexa": 4
        },
        {
            "domain": "plus.google.com",
            "mail": "",
            "hosting": "Google LLC",
            "alexa": 11
        },
        {
            "domain": "maps.google.com",
            "mail": "",
            "hosting": "Google LLC",
            "alexa": 18
        }
    ]
}]

подсказка

Чтобы опции "Начальный текст" и "Конечный текст" были доступны в Редакторе заданий, нужно активировать "Больше опций".

Возможные настройки

примечание

Общие настройки для всех парсеров

Параметр	Значение по умолчанию	Описание
Mode	History	Раздел сайта из которого собираются данные