SecurityTrails::Domain - Raccolta dati sul dominio da SecurityTrails
Panoramica dello scraper
SecurityTrails è il più grande archivio al mondo di dati storici DNS. Dati per aziende di sicurezza, ricercatori e team che hanno bisogno di analizzare in dettaglio, trovare cambiamenti sospetti nei record DNS e prevenire future attività fraudolente o criminali.
Le funzionalità di A-Parser consentono di salvare le impostazioni di scraping per un uso futuro (preset), impostare pianificazioni di scraping e molto altro. È possibile utilizzare la generazione automatica delle query, la sostituzione di sotto-query da file, l'iterazione di combinazioni alfanumeriche e liste per ottenere il massimo numero possibile di risultati.
Il salvataggio dei risultati è possibile nel formato e nella struttura necessari, grazie al potente motore di modelli integrato Template Toolkit che consente di applicare logica aggiuntiva ai risultati e di esportare i dati in vari formati, tra cui JSON, SQL e CSV.
Dati raccolti
- Alexa rank
- Apex domain
- Host
- Numero di sottodomini
- A records
- TXT records
- AAAA records
- Ns records
- SOA records
- MX records
- CNAME records
- CNAME records pointed here
- MX records pointed here
- NS records pointed here
- Sottodomini
- historical A
- historical AAAA
- historical MX
- historical NS
- historical SOA
- historical TXT
Funzionalità
Scelta della sezione Mode da cui vengono raccolti i dati:
Subdomain
- https://securitytrails.com/list/apex_domain/google.com
History
- https://securitytrails.com/domain/google.com/history/a
- https://securitytrails.com/domain/google.com/dns
Casi d'uso
- Ottenimento dei sottodomini e del loro Rank
- Raccolta di informazioni sul provider di hosting dei sottodomini
- Ottenimento del provider di posta dei sottodomini
- Raccolta dello storico per A, AAAA, MX, NS, SOA, TXT
- Raccolta dei record DNS del dominio A, AAAA, MX, NS, SOA, TXT
Query
Come query è necessario indicare i domini, ad esempio:
google.com
Esempi di output dei risultati
A-Parser supporta la formattazione flessibile dei risultati grazie al motore di modelli integrato Template Toolkit, che gli consente di produrre risultati in forma libera o strutturata, come CSV o JSON.
Output predefinito
Formato del risultato:
$query - $alexa - $apex_domain
Esempio di risultato:
google.com - 1 - google.com
Output dei risultati per i record aRecords
Formato del risultato:
$aRecords.format('$ip, $stats\n')
Esempio di risultato:
142.250.73.238, 18037
Output dei risultati per i record txt
Formato del risultato:
$txt.format('$record\n')
Esempio di risultato:
v=spf1 include:_spf.google.com ~all
google-site-verification=wD8N7i1JTNTkezJ49swvWW48f8_9xveREV4oB-0Hf5o
globalsign-smime-dv=CDYX+XFHUw2wml6/Gb8+59BsH31KzUr6c1l2BPvqKX8=
facebook-domain-verification=22rm551cu4k0ab0bxsw536tlds4h95
docusign=1b0a6754-49b1-4db5-8540-d2c12664b289
docusign=05958488-4752-4ef2-95eb-aa7ba8a3bd0e
apple-domain-verification=30afIBcvSuDV2PLX
Output dei risultati per i record aaaaRecords
Formato del risultato:
$aaaaRecords.format('$ip, $stats\n')
Esempio di risultato:
2607:f8b0:4004:82a::200e, 17294
Output dei risultati per i record nsRecords
Formato del risultato:
$nsRecords.format('$ns, $stats\n')
Esempio di risultato:
ns4.google.com, 5226
ns3.google.com, 5233
ns2.google.com, 5268
ns1.google.com, 5298
Output dei risultati per i record mxRecords
Formato del risultato:
$mxRecords.format('$p, $host, $stats\n')
Esempio di risultato:
aspmx.l.google.com, 13227170, 10
alt4.aspmx.l.google.com, 7665791, 50
alt3.aspmx.l.google.com, 7726366, 40
alt2.aspmx.l.google.com, 12894431, 30
alt1.aspmx.l.google.com, 12975832, 20
Output dei risultati per i record soaRecords
Formato del risultato:
$soaRecords.format('$ttl, $email, $stats\n')
Esempio di risultato:
dns-admin.google.com, 147485, 900
Output dei risultati per i record soaRecords in CSV
Formato del risultato:
[% FOREACH soaRecords;
tools.CSVline(ttl, email, stats);
END %]
Esempio di risultato:
dns-admin.google.com,147485,900
Output delle informazioni sui sottodomini
Formato del risultato:
$subdomains.format('$domain, $alexa, $hosting, $mail\n')
Esempio di risultato:
google.com, 4, Google LLC, Google LLC
plus.google.com, 11, Google LLC,
maps.google.com, 18, Google LLC,
play.google.com, 22, Google LLC,
docs.google.com, 24, Google LLC,
support.google.com, 27, Google LLC,
sites.google.com, 36, Google LLC,
developers.google.com, 40, Google LLC,
apis.google.com, 44, Google LLC,
chrome.google.com, 47, Google LLC,
translate.google.com, 57, Google LLC
Output delle informazioni sui sottodomini in tabella CSV
Formato del risultato:
[% FOREACH subdomains;
tools.CSVline(domain, alexa, hosting, mail);
END %]
Esempio di risultato:
google.com,4,"Google LLC","Google LLC"
plus.google.com,11,"Google LLC",
maps.google.com,18,"Google LLC",
play.google.com,22,"Google LLC",
docs.google.com,24,"Google LLC",
support.google.com,27,"Google LLC",
sites.google.com,36,"Google LLC",
developers.google.com,40,"Google LLC"
Dump dei risultati in JSON
Formato comune del risultato:
[% IF notFirst;
",\n";
ELSE;
notFirst = 1;
END;
obj = {};
obj.query = query;
obj.subdomains = [];
FOREACH item IN p1.subdomains;
obj.subdomains.push({
domain = item.domain
alexa = item.alexa
hosting = item.hosting
mail = item.mail
});
END;
obj.json %]
Testo iniziale:
[
Testo finale:
]
Esempio di risultato:
[{
"query": "google.com",
"subdomains": [
{
"domain": "google.com",
"mail": "Google LLC",
"hosting": "Google LLC",
"alexa": 4
},
{
"domain": "plus.google.com",
"mail": "",
"hosting": "Google LLC",
"alexa": 11
},
{
"domain": "maps.google.com",
"mail": "",
"hosting": "Google LLC",
"alexa": 18
}
]
}]
Affinché le opzioni "Prepend text" e "Append text" siano disponibili nell'Editor di attività, è necessario attivare "More options".
Impostazioni possibili
| Parametro | Valore predefinito | Descrizione |
|---|---|---|
| Mode | History | Sezione del sito da cui vengono raccolti i dati |