SecurityTrails::Ip - Collecte de données de domaine depuis SecurityTrails

Présentation du scraper

SecurityTrails est le plus grand référentiel au monde de données DNS historiques. Ces données sont destinées aux entreprises de sécurité, aux chercheurs et aux équipes qui ont besoin de détailler, de trouver des changements suspects dans les enregistrements DNS et de prévenir les futures activités frauduleuses ou criminelles.

La fonctionnalité d'A-Parser permet de sauvegarder les paramètres de collecte de données pour une utilisation ultérieure (présélections), de définir un calendrier de collecte et bien plus encore. Vous pouvez utiliser la multiplication automatique des requêtes, la substitution de sous-requêtes à partir de fichiers, l'itération de combinaisons alphanumériques et de listes pour obtenir le maximum de résultats possible.

La sauvegarde des résultats est possible dans la forme et la structure dont vous avez besoin, grâce au puissant moteur de gabarit intégré Template Toolkit qui permet d'appliquer une logique supplémentaire aux résultats et d'exporter les données dans divers formats, y compris JSON, SQL et CSV.

Accéder à la DÉMOAcheter A-Parser Pro ($299)

Données collectées

• Domain
• Hosting provider
• Alexa rank
• Mail provider

Fonctionnalités

• Authentification par identifiant et mot de passe
• Passage automatique par la pagination
• Export des résultats en tableau CSV, JSON, base SQLite

Cas d'utilisation

• Obtention de sous-domaines par IP
• Collecte de l'Alexa Rank pour les sous-domaines
• Obtention du fournisseur d'hébergement (Hosting Provider)
• Obtention du fournisseur de messagerie (Mail Provider)

Requêtes

Les adresses IPv4 doivent être indiquées comme requêtes :

172.217.164.174

Variantes d'affichage des résultats

A-Parser prend en charge un formatage flexible des résultats grâce au moteur de gabarit intégré Template Toolkit, ce qui lui permet d'afficher les résultats sous une forme libre, ainsi que structurée, par exemple CSV ou JSON.

Affichage par défaut

Format du résultat :

$list.format('$domain\n')

Les sous-domaines sont affichés dans le résultat :

aalt158.gaming.youtube.com
o-o.preferred.ivanticsa177a.v20.cache.c.youtube.com
o-o.preferred.alt138-batelco-bah1.v24.lscache2.c.youtube.com
o-o.preferred.sigmarprd.v20.cache.c.youtube.com
thegameofpwns.io
o-o.preferred.orange-pfightmaster.v9.lscache4.c.youtube.com
o-o.preferred.kubectlivanticsa571.v20.cache.c.youtube.com
o-o.preferred.trial-one-my.v20.cache.c.youtube.com
o-o.preferred.activestc-ruh3.v2.lscache1.c.youtube.com
test.palaash.com
shoppe33.vip

Affichage de toutes les données sur les sous-domaines

Format du résultat :

$list.format('$domain, $host_provider, $alexa_rank, $mail_provider\n')

Exemple de résultat :

google.com, Google LLC, 4, Google LLC
developers.google.com, Google LLC, 40, none
earth.google.com, Google LLC, 640, none
uk.youtube.com, Google LLC, 1305, none

Affichage dans un tableau CSV

Format du résultat :

[% FOREACH list; 
    tools.CSVline(domain, host_provider, alexa_rank, mail_provider);
END %]

Exemple de résultat :

google.com,"Google LLC",4,"Google LLC"
developers.google.com,"Google LLC",40,none
earth.google.com,"Google LLC",640,none
uk.youtube.com,"Google LLC",1305,none

Dump des résultats en JSON

Format de sortie general:

[% IF notFirst;
  ",\n";
ELSE;
  notFirst = 1;
END;

obj = {};
obj.query = query;
obj.subdomains = [];

FOREACH item IN p1.list;
    obj.subdomains.push({
        domain = item.domain
        alexa_rank = item.alexa_rank
        host_provider = item.host_provider
        mail_provider = item.mail_provider
    });
END;

obj.json %]

Texte initial:

[

Texte final:

]

Exemple de résultat :

[
    {
        "query": "172.217.164.174",
        "subdomains": [
            {
                "domain": "google.com",
                "mail_provider": "Google LLC",
                "host_provider": "Google LLC",
                "alexa": 4
            },
            {
                "domain": "developers.google.com",
                "mail_provider": "none",
                "host_provider": "Google LLC",
                "alexa": 40
            },
            {
                "domain": "earth.google.com",
                "mail_provider": "none",
                "host_provider": "Google LLC",
                "alexa": 640
            },
            {
                "domain": "uk.youtube.com",
                "mail_provider": "none",
                "host_provider": "Google LLC",
                "alexa": 1305
            }
        ]
    }
]

astuce

Pour que les options "Texte initial" et "Texte final" soient disponibles dans l'Éditeur de tâches, vous devez activer "Plus d'options".

Paramètres possibles

note

Paramètres généraux pour tous les scrapers

Paramètre	Valeur par défaut	Description
Method	New	Choix de la méthode de collecte (New / Old / Account authorization)
Login		Saisie de l'identifiant
Password		Saisie du mot de passe