SecurityTrails::Ip - Coleta de dados de domínio do SecurityTrails

Visão geral do scraper

SecurityTrails é o maior repositório do mundo de dados históricos de DNS Dados para empresas de segurança, pesquisadores e equipes que precisam detalhar, encontrar mudanças suspeitas em registros DNS e prevenir futuras atividades fraudulentas ou criminosas.

A funcionalidade do A-Parser permite salvar configurações de extração de dados para uso futuro (presets), definir cronogramas de extração de dados e muito mais. Você pode usar a multiplicação automática de consultas, substituição de subconsultas a partir de arquivos, busca exaustiva de combinações alfanuméricas e listas para obter a maior quantidade possível de resultados.

A preservação dos resultados é possível na forma e estrutura que você necessita, graças ao poderoso motor de modelos integrado Template Toolkit que permite aplicar lógica adicional aos resultados e exibir dados em vários formatos, incluindo JSON, SQL e CSV.

Ir para DEMOComprar A-Parser Pro ($299)

Dados coletados

• Domain
• Hosting provider
• Alexa rank
• Mail provider

Recursos

• Autorização por login e senha
• Navegação automática por paginação
• Exibição de resultados em tabela CSV, JSON, banco de dados SQLite

Casos de uso

• Obtenção de subdomínios por IP
• Coleta de Alexa Rank para subdomínios
• Obtenção de Hosting Provider
• Obtenção de Mail Provider

Consultas

Como consultas, devem ser indicados endereços ipv4:

172.217.164.174

Opções de exibição de resultados

O A-Parser suporta formatação flexível de resultados graças ao motor de modelos integrado Template Toolkit, o que permite exibir resultados em forma livre, bem como estruturada, por exemplo CSV ou JSON

Exibição padrão

Formato do resultado:

$list.format('$domain\n')

Como resultado, os subdomínios são exibidos:

aalt158.gaming.youtube.com
o-o.preferred.ivanticsa177a.v20.cache.c.youtube.com
o-o.preferred.alt138-batelco-bah1.v24.lscache2.c.youtube.com
o-o.preferred.sigmarprd.v20.cache.c.youtube.com
thegameofpwns.io
o-o.preferred.orange-pfightmaster.v9.lscache4.c.youtube.com
o-o.preferred.kubectlivanticsa571.v20.cache.c.youtube.com
o-o.preferred.trial-one-my.v20.cache.c.youtube.com
o-o.preferred.activestc-ruh3.v2.lscache1.c.youtube.com
test.palaash.com
shoppe33.vip

Exibição de todos os dados sobre subdomínios

Formato do resultado:

$list.format('$domain, $host_provider, $alexa_rank, $mail_provider\n')

Exemplo de resultado:

google.com, Google LLC, 4, Google LLC
developers.google.com, Google LLC, 40, none
earth.google.com, Google LLC, 640, none
uk.youtube.com, Google LLC, 1305, none

Exibição em tabela CSV

Formato do resultado:

[% FOREACH list; 
    tools.CSVline(domain, host_provider, alexa_rank, mail_provider);
END %]

Exemplo de resultado:

google.com,"Google LLC",4,"Google LLC"
developers.google.com,"Google LLC",40,none
earth.google.com,"Google LLC",640,none
uk.youtube.com,"Google LLC",1305,none

Dump de resultados em JSON

Formato geral do resultado:

[% IF notFirst;
  ",\n";
ELSE;
  notFirst = 1;
END;

obj = {};
obj.query = query;
obj.subdomains = [];

FOREACH item IN p1.list;
    obj.subdomains.push({
        domain = item.domain
        alexa_rank = item.alexa_rank
        host_provider = item.host_provider
        mail_provider = item.mail_provider
    });
END;

obj.json %]

Texto inicial:

[

Texto final:

]

Exemplo de resultado:

[
    {
        "query": "172.217.164.174",
        "subdomains": [
            {
                "domain": "google.com",
                "mail_provider": "Google LLC",
                "host_provider": "Google LLC",
                "alexa": 4
            },
            {
                "domain": "developers.google.com",
                "mail_provider": "none",
                "host_provider": "Google LLC",
                "alexa": 40
            },
            {
                "domain": "earth.google.com",
                "mail_provider": "none",
                "host_provider": "Google LLC",
                "alexa": 640
            },
            {
                "domain": "uk.youtube.com",
                "mail_provider": "none",
                "host_provider": "Google LLC",
                "alexa": 1305
            }
        ]
    }
]

dica

Para que as opções "Prepend text" e "Append text" estejam disponíveis no Editor de tarefas, é necessário ativar "More options".

Configurações possíveis

nota

Configurações gerais para todos os scrapers

Parâmetro	Valor padrão	Descrição
Method	New	Escolha do método de extração de dados (New / Old / Account authorization)
Login		Inserção do login
Password		Inserção da senha