SecurityTrails::Domain - Collecte de données de domaine depuis SecurityTrails

Présentation du scraper

SecurityTrails est le plus grand référentiel au monde de données DNS historiques. Ces données sont destinées aux entreprises de sécurité, aux chercheurs et aux équipes qui ont besoin de détailler, de trouver des changements suspects dans les enregistrements DNS et de prévenir de futures activités frauduleuses ou criminelles.

Les fonctionnalités d'A-Parser permettent de sauvegarder les paramètres de collecte de données pour une utilisation ultérieure (présélections), de définir des calendriers de collecte et bien plus encore. Vous pouvez utiliser la multiplication automatique des requêtes, la substitution de sous-requêtes à partir de fichiers, le brassage de combinaisons alphanumériques et de listes pour obtenir le maximum de résultats possible.

La sauvegarde des résultats est possible dans la forme et la structure dont vous avez besoin, grâce au puissant moteur de gabarits intégré Template Toolkit qui permet d'appliquer une logique supplémentaire aux résultats et d'exporter les données dans divers formats, y compris JSON, SQL et CSV.

Accéder à la DÉMOAcheter A-Parser Pro ($299)

Données collectées

• Alexa rank
• Apex domain
• Host
• Nombre de sous-domaines
• A records
• TXT records
• AAAA records
• Ns records
• SOA records
• MX records
• CNAME records
• CNAME records pointed here
• MX records pointed here
• NS records pointed here
• Sous-domaines
• historical A
• historical AAAA
• historical MX
• historical NS
• historical SOA
• historical TXT

Possibilités

Choix de la section Mode à partir de laquelle les données sont collectées :

Subdomain

• https://securitytrails.com/list/apex_domain/google.com

History

• https://securitytrails.com/domain/google.com/history/a
• https://securitytrails.com/domain/google.com/dns

Cas d'utilisation

• Obtention des sous-domaines et de leur Rank
• Collecte d'informations sur le fournisseur d'hébergement des sous-domaines
• Obtention du fournisseur de messagerie des sous-domaines
• Collecte de l'historique pour A, AAAA, MX, NS, SOA, TXT
• Collecte des enregistrements DNS du domaine A, AAAA, MX, NS, SOA, TXT

Requêtes

Vous devez spécifier des domaines comme requêtes, par exemple :

google.com

Exemples de formats de sortie

A-Parser prend en charge un formatage flexible des résultats grâce au moteur de gabarits intégré Template Toolkit, ce qui lui permet d'afficher les résultats sous n'importe quelle forme, ainsi que de manière structurée, par exemple en CSV ou JSON.

Sortie par défaut

Format du résultat :

$query - $alexa - $apex_domain

Exemple de résultat :

google.com - 1 - google.com

Sortie des résultats pour les enregistrements aRecords

Format du résultat :

$aRecords.format('$ip, $stats\n')

Exemple de résultat :

142.250.73.238, 18037

Sortie des résultats pour les enregistrements txt

Format du résultat :

$txt.format('$record\n')

Exemple de résultat :

v=spf1 include:_spf.google.com ~all
google-site-verification=wD8N7i1JTNTkezJ49swvWW48f8_9xveREV4oB-0Hf5o
globalsign-smime-dv=CDYX+XFHUw2wml6/Gb8+59BsH31KzUr6c1l2BPvqKX8=
facebook-domain-verification=22rm551cu4k0ab0bxsw536tlds4h95
docusign=1b0a6754-49b1-4db5-8540-d2c12664b289
docusign=05958488-4752-4ef2-95eb-aa7ba8a3bd0e
apple-domain-verification=30afIBcvSuDV2PLX

Sortie des résultats pour les enregistrements aaaaRecords

Format du résultat :

$aaaaRecords.format('$ip, $stats\n')

Exemple de résultat :

2607:f8b0:4004:82a::200e, 17294

Sortie des résultats pour les enregistrements nsRecords

Format du résultat :

$nsRecords.format('$ns, $stats\n')

Exemple de résultat :

ns4.google.com, 5226
ns3.google.com, 5233
ns2.google.com, 5268
ns1.google.com, 5298

Sortie des résultats pour les enregistrements mxRecords

Format du résultat :

$mxRecords.format('$p, $host, $stats\n')

Exemple de résultat :

aspmx.l.google.com, 13227170, 10
alt4.aspmx.l.google.com, 7665791, 50
alt3.aspmx.l.google.com, 7726366, 40
alt2.aspmx.l.google.com, 12894431, 30
alt1.aspmx.l.google.com, 12975832, 20

Sortie des résultats pour les enregistrements soaRecords

Format du résultat :

$soaRecords.format('$ttl, $email, $stats\n')

Exemple de résultat :

dns-admin.google.com, 147485, 900

Sortie des résultats pour les enregistrements soaRecords en CSV

Format du résultat :

[% FOREACH soaRecords; 
    tools.CSVline(ttl, email, stats);
END %]

Exemple de résultat :

dns-admin.google.com,147485,900

Sortie des informations sur les sous-domaines

Format du résultat :

$subdomains.format('$domain, $alexa, $hosting, $mail\n')

Exemple de résultat :

google.com, 4, Google LLC, Google LLC
plus.google.com, 11, Google LLC, 
maps.google.com, 18, Google LLC, 
play.google.com, 22, Google LLC, 
docs.google.com, 24, Google LLC, 
support.google.com, 27, Google LLC, 
sites.google.com, 36, Google LLC, 
developers.google.com, 40, Google LLC, 
apis.google.com, 44, Google LLC, 
chrome.google.com, 47, Google LLC, 
translate.google.com, 57, Google LLC

Sortie des informations sur les sous-domaines dans un tableau CSV

Format du résultat :

[% FOREACH subdomains; 
    tools.CSVline(domain, alexa, hosting, mail);
END %]

Exemple de résultat :

google.com,4,"Google LLC","Google LLC"
plus.google.com,11,"Google LLC",
maps.google.com,18,"Google LLC",
play.google.com,22,"Google LLC",
docs.google.com,24,"Google LLC",
support.google.com,27,"Google LLC",
sites.google.com,36,"Google LLC",
developers.google.com,40,"Google LLC"

Dump des résultats en JSON

Format de sortie general:

[% IF notFirst;
  ",\n";
ELSE;
  notFirst = 1;
END;

obj = {};
obj.query = query;
obj.subdomains = [];

FOREACH item IN p1.subdomains;
    obj.subdomains.push({
        domain = item.domain
        alexa = item.alexa
        hosting = item.hosting
        mail = item.mail
    });
END;

obj.json %]

Texte initial:

[

Texte final:

]

Exemple de résultat :

[{
    "query": "google.com",
    "subdomains": [
        {
            "domain": "google.com",
            "mail": "Google LLC",
            "hosting": "Google LLC",
            "alexa": 4
        },
        {
            "domain": "plus.google.com",
            "mail": "",
            "hosting": "Google LLC",
            "alexa": 11
        },
        {
            "domain": "maps.google.com",
            "mail": "",
            "hosting": "Google LLC",
            "alexa": 18
        }
    ]
}]

astuce

Pour que les options "Texte initial" et "Texte final" soient disponibles dans l'Éditeur de tâches, vous devez activer "Plus d'options".

Paramètres possibles

note

Paramètres généraux pour tous les scrapers

Paramètre	Valeur par défaut	Description
Mode	History	Section du site à partir de laquelle les données sont collectées