Pular para o conteúdo principal

Cloudflare::Radar - dados públicos de domínio do Cloudflare Radar

img

Visão geral do scraper​

O scraper Cloudflare::Radar obtém informações públicas sobre um domínio a partir da interface web do Cloudflare Radar: cartão do domínio, WHOIS, registros DNS, suporte a post-quantum TLS, distribuição de visitantes por país, tabela de scans de URL e histórico de ranking.

A preservação dos resultados é possível na forma e estrutura que você necessita, graças ao poderoso mecanismo de modelos integrado Template Toolkit que permite aplicar lógica adicional aos resultados e exibir dados em vários formatos, incluindo JSON, SQL e CSV

Dados coletados​

  • $asn — número ASN
  • $asn_name — nome do sistema autônomo
  • $asn_country — país do ASN
  • $dnssec — DNSSEC
  • $created_date, $updated_date, $expiration_date — datas do WHOIS
  • $registrar — registrador
  • $pq — suporte a post-quantum TLS
  • $kexName — nome da troca de chaves (KEX)
  • Array $categories:
    • $categories.$i.name — nome da categoria do site
  • Array $nameservers:
    • $nameservers.$i.name — servidor NS
  • Array $status:
    • $status.$i.status — status do domínio no WHOIS
  • Array $records:
    • $records.$i.type — tipo de registro DNS
    • $records.$i.name — nome
    • $records.$i.data — valor (RDATA)
  • Array $geo (distribuição de visitantes):
    • $geo.$i.code — código do país
    • $geo.$i.value — valor do Radar
  • Array $scans (scans de URL por domínio):
    • $scans.$i.uuid — UUID
    • $scans.$i.url — URL
    • $scans.$i.time — hora
    • $scans.$i.isMalicious — indicador de malicioso
  • Array $rankHistory:
    • $rankHistory.$i.date — data
    • $rankHistory.$i.rank — ranking

Casos de uso​

  • Determinação de categorias de sites por domínio
  • Resumo de ASN e DNSSEC
  • WHOIS: datas, registrador, NS, status
  • Lista de registros DNS
  • Verificação de post-quantum TLS e KEX
  • Geo de visitantes, scans de URL, histórico de ranking do domínio

Consultas​

Como consultas, você deve especificar uma lista de domínios, por exemplo:

a-parser.com  
yandex.ru
google.com
vk.com
facebook.com
youtube.com

Exemplos de saída de resultados​

O A-Parser suporta formatação flexível de resultados graças ao mecanismo de modelos integrado Template Toolkit, o que permite exibir resultados em forma livre, bem como em forma estruturada, como CSV ou JSON

Saída padrão​

Formato do resultado:

$query: $categories.format('$name, ')\n

Exemplo de resultado, no qual as categorias e suas descrições são exibidas:

a-parser.com: Business, Business & Economy, 
yandex.ru: News & Media, Entertainment,
vk.com: Social Networks, Society & Lifestyle,
youtube.com: Video Streaming, Entertainment,
facebook.com: Social Networks, Society & Lifestyle,
google.com: Search Engines, Technology,

Saída em tabela CSV​

Formato do resultado:

[% FOREACH categories;
tools.CSVline(name, desc);
END %]

Exemplo de resultado:

Business,"Sites related to business."
"Business & Economy","Sites that are related to business, economy, finance, education, science and technology."
"Social Networks","Sites that facilitate interaction and networking between people."
"Society & Lifestyle","Sites related to lifestyle that are not included in other categories like fashion, food & drink etc."
"Social Networks","Sites that facilitate interaction and networking between people."
"Society & Lifestyle","Sites related to lifestyle that are not included in other categories like fashion, food & drink etc."
"Search Engines","Sites that allow users to search for content using keywords."
Technology,"Sites related to technology that are not included in the science category."
"News & Media","Sites related to news and media."
Entertainment,"Sites related to entertainment that are not includeded in other categories like Comic books, Audio streaming, Video streaming etc."

Dump de resultados em JSON​

Formato geral do resultado:

[% IF notFirst;
",\n";
ELSE;
notFirst = 1;
END;

obj = {};
obj.query = query;
obj.categories = [];

FOREACH item IN p1.categories;
obj.categories.push({
name = item.name
desc = item.desc
});
END;

obj.json %]

Texto inicial:

[

Texto final:

]

Exemplo de resultado:

[{"query":"yandex.ru","categories":[{"desc":"Sites related to news and media.","name":"News & Media"},{"desc":"Sites related to entertainment that are not includeded in other categories like Comic books, Audio streaming, Video streaming etc.","name":"Entertainment"}]},{"query":"google.com","categories":[{"desc":"Sites that allow users to search for content using keywords.","name":"Search Engines"},{"desc":"Sites related to technology that are not included in the science category.","name":"Technology"}]},{"query":"a-parser.com","categories":[{"desc":"Sites related to business.","name":"Business"},{"desc":"Sites that are related to business, economy, finance, education, science and technology.","name":"Business & Economy"}]}]
dica

Para que as opções "Prepend text" e "Append text" estejam disponíveis no Editor de tarefas, é necessário ativar "More options".

Configurações possíveis​

Nome do parâmetroValor padrãoDescrição
Bypass CloudFlare☑Ignora automaticamente a verificação do CloudFlare
Bypass CloudFlare with Chrome Max Pages10Número máx. de páginas ao contornar CF via Chrome
Bypass CloudFlare with Chrome Headless☑Se a opção estiver ativada, o navegador não será exibido durante o contorno do CF via Chrome
Use session☑Salva sessões boas, o que permite a extração de dados ainda mais rápida, obtendo menos erros.