SecurityTrails::Domain - Coleta de dados de domínio do SecurityTrails
Visão geral do scraper
SecurityTrails é o maior repositório do mundo de dados históricos de DNS Dados para empresas de segurança, pesquisadores e equipes que precisam detalhar, encontrar alterações suspeitas em registros DNS e prevenir futuras atividades fraudulentas ou criminosas.
A funcionalidade do A-Parser permite salvar configurações de extração de dados para uso posterior (presets), definir cronogramas de extração de dados e muito mais. Você pode usar a multiplicação automática de consultas, substituição de subconsultas a partir de arquivos, busca exaustiva de combinações alfanuméricas e listas para obter a maior quantidade possível de resultados.
A preservação dos resultados é possível na forma e estrutura que você necessita, graças ao poderoso motor de modelos integrado Template Toolkit que permite aplicar lógica adicional aos resultados e exibir dados em vários formatos, incluindo JSON, SQL e CSV.
Dados coletados
- Alexa rank
- Apex domain
- Host
- Quantidade de subdomínios
- A records
- TXT records
- AAAA records
- Ns records
- SOA records
- MX records
- CNAME records
- CNAME records pointed here
- MX records pointed here
- NS records pointed here
- Subdomínios
- historical A
- historical AAAA
- historical MX
- historical NS
- historical SOA
- historical TXT
Recursos
Escolha da seção Mode da qual os dados são coletados:
Subdomain
- https://securitytrails.com/list/apex_domain/google.com
History
- https://securitytrails.com/domain/google.com/history/a
- https://securitytrails.com/domain/google.com/dns
Casos de uso
- Obtenção de subdomínios e seu Rank
- Coleta de informações sobre o provedor de hospedagem dos subdomínios
- Obtenção do provedor de e-mail dos subdomínios
- Coleta de histórico de A, AAAA, MX, NS, SOA, TXT
- Coleta de registros DNS do domínio A, AAAA, MX, NS, SOA, TXT
Consultas
Como consultas, é necessário indicar domínios, por exemplo:
google.com
Opções de exibição de resultados
O A-Parser suporta formatação flexível de resultados graças ao motor de modelos integrado Template Toolkit, o que permite exibir resultados em forma livre, bem como estruturada, por exemplo CSV ou JSON
Exibição padrão
Formato do resultado:
$query - $alexa - $apex_domain
Exemplo de resultado:
google.com - 1 - google.com
Exibição de resultados para registros aRecords
Formato do resultado:
$aRecords.format('$ip, $stats\n')
Exemplo de resultado:
142.250.73.238, 18037
Exibição de resultados para registros txt
Formato do resultado:
$txt.format('$record\n')
Exemplo de resultado:
v=spf1 include:_spf.google.com ~all
google-site-verification=wD8N7i1JTNTkezJ49swvWW48f8_9xveREV4oB-0Hf5o
globalsign-smime-dv=CDYX+XFHUw2wml6/Gb8+59BsH31KzUr6c1l2BPvqKX8=
facebook-domain-verification=22rm551cu4k0ab0bxsw536tlds4h95
docusign=1b0a6754-49b1-4db5-8540-d2c12664b289
docusign=05958488-4752-4ef2-95eb-aa7ba8a3bd0e
apple-domain-verification=30afIBcvSuDV2PLX
Exibição de resultados para registros aaaaRecords
Formato do resultado:
$aaaaRecords.format('$ip, $stats\n')
Exemplo de resultado:
2607:f8b0:4004:82a::200e, 17294
Exibição de resultados para registros nsRecords
Formato do resultado:
$nsRecords.format('$ns, $stats\n')
Exemplo de resultado:
ns4.google.com, 5226
ns3.google.com, 5233
ns2.google.com, 5268
ns1.google.com, 5298
Exibição de resultados para registros mxRecords
Formato do resultado:
$mxRecords.format('$p, $host, $stats\n')
Exemplo de resultado:
aspmx.l.google.com, 13227170, 10
alt4.aspmx.l.google.com, 7665791, 50
alt3.aspmx.l.google.com, 7726366, 40
alt2.aspmx.l.google.com, 12894431, 30
alt1.aspmx.l.google.com, 12975832, 20
Exibição de resultados para registros soaRecords
Formato do resultado:
$soaRecords.format('$ttl, $email, $stats\n')
Exemplo de resultado:
dns-admin.google.com, 147485, 900
Exibição de resultados para registros soaRecords em CSV
Formato do resultado:
[% FOREACH soaRecords;
tools.CSVline(ttl, email, stats);
END %]
Exemplo de resultado:
dns-admin.google.com,147485,900
Exibição de informações sobre subdomínios
Formato do resultado:
$subdomains.format('$domain, $alexa, $hosting, $mail\n')
Exemplo de resultado:
google.com, 4, Google LLC, Google LLC
plus.google.com, 11, Google LLC,
maps.google.com, 18, Google LLC,
play.google.com, 22, Google LLC,
docs.google.com, 24, Google LLC,
support.google.com, 27, Google LLC,
sites.google.com, 36, Google LLC,
developers.google.com, 40, Google LLC,
apis.google.com, 44, Google LLC,
chrome.google.com, 47, Google LLC,
translate.google.com, 57, Google LLC
Exibição de informações sobre subdomínios em tabela CSV
Formato do resultado:
[% FOREACH subdomains;
tools.CSVline(domain, alexa, hosting, mail);
END %]
Exemplo de resultado:
google.com,4,"Google LLC","Google LLC"
plus.google.com,11,"Google LLC",
maps.google.com,18,"Google LLC",
play.google.com,22,"Google LLC",
docs.google.com,24,"Google LLC",
support.google.com,27,"Google LLC",
sites.google.com,36,"Google LLC",
developers.google.com,40,"Google LLC"
Dump de resultados em JSON
Formato geral do resultado:
[% IF notFirst;
",\n";
ELSE;
notFirst = 1;
END;
obj = {};
obj.query = query;
obj.subdomains = [];
FOREACH item IN p1.subdomains;
obj.subdomains.push({
domain = item.domain
alexa = item.alexa
hosting = item.hosting
mail = item.mail
});
END;
obj.json %]
Texto inicial:
[
Texto final:
]
Exemplo de resultado:
[{
"query": "google.com",
"subdomains": [
{
"domain": "google.com",
"mail": "Google LLC",
"hosting": "Google LLC",
"alexa": 4
},
{
"domain": "plus.google.com",
"mail": "",
"hosting": "Google LLC",
"alexa": 11
},
{
"domain": "maps.google.com",
"mail": "",
"hosting": "Google LLC",
"alexa": 18
}
]
}]
Para que as opções "Prepend text" e "Append text" estejam disponíveis no Editor de tarefas, é necessário ativar "More options".
Configurações possíveis
| Parâmetro | Valor padrão | Descrição |
|---|---|---|
| Mode | History | Seção do site da qual os dados são coletados |