Vai al contenuto principale

Cloudflare::Radar - dati pubblici sul dominio da Cloudflare Radar

img

Panoramica dello scraper​

Lo scraper Cloudflare::Radar ottiene informazioni pubbliche su un dominio dall'interfaccia web di Cloudflare Radar: scheda del dominio, WHOIS, record DNS, supporto post-quantum TLS, distribuzione dei visitatori per paese, tabella delle scansioni URL e cronologia del ranking.

Il salvataggio dei risultati è possibile nella forma e nella struttura desiderata, grazie al potente motore di modelli integrato Template Toolkit che permette di applicare logica aggiuntiva ai risultati e di esportare i dati in vari formati, tra cui JSON, SQL e CSV

Dati raccolti​

  • $asn — numero ASN
  • $asn_name — nome del sistema autonomo
  • $asn_country — paese dell'ASN
  • $dnssec — DNSSEC
  • $created_date, $updated_date, $expiration_date — date WHOIS
  • $registrar — registrar
  • $pq — supporto post-quantum TLS
  • $kexName — nome dello scambio di chiavi (KEX)
  • Array $categories:
    • $categories.$i.name — nome della categoria del sito
  • Array $nameservers:
    • $nameservers.$i.name — server NS
  • Array $status:
    • $status.$i.status — stato del dominio nel WHOIS
  • Array $records:
    • $records.$i.type — tipo di record DNS
    • $records.$i.name — nome
    • $records.$i.data — valore (RDATA)
  • Array $geo (distribuzione dei visitatori):
    • $geo.$i.code — codice del paese
    • $geo.$i.value — valore da Radar
  • Array $scans (scansioni URL per dominio):
    • $scans.$i.uuid — UUID
    • $scans.$i.url — URL
    • $scans.$i.time — orario
    • $scans.$i.isMalicious — indicatore di pericolosità
  • Array $rankHistory:
    • $rankHistory.$i.date — data
    • $rankHistory.$i.rank — ranking

Casi d'uso​

  • Determinazione delle categorie del sito per dominio
  • Riepilogo ASN e DNSSEC
  • WHOIS: date, registrar, NS, stati
  • Elenco dei record DNS
  • Verifica di post-quantum TLS e KEX
  • Geo dei visitatori, scansioni URL, cronologia del rank del dominio

Query​

Come query è necessario indicare un elenco di domini, ad esempio:

a-parser.com  
yandex.ru
google.com
vk.com
facebook.com
youtube.com

Esempi di output dei risultati​

A-Parser supporta la formattazione flessibile dei risultati grazie al motore di modelli integrato Template Toolkit, che gli consente di produrre risultati in forma arbitraria o strutturata, come CSV o JSON

Output predefinito​

Formato del risultato:

$query: $categories.format('$name, ')\n

Esempio di risultato, in cui sono visualizzate le categorie e la loro descrizione:

a-parser.com: Business, Business & Economy, 
yandex.ru: News & Media, Entertainment,
vk.com: Social Networks, Society & Lifestyle,
youtube.com: Video Streaming, Entertainment,
facebook.com: Social Networks, Society & Lifestyle,
google.com: Search Engines, Technology,

Output in tabella CSV​

Formato del risultato:

[% FOREACH categories;
tools.CSVline(name, desc);
END %]

Esempio di risultato:

Business,"Sites related to business."
"Business & Economy","Sites that are related to business, economy, finance, education, science and technology."
"Social Networks","Sites that facilitate interaction and networking between people."
"Society & Lifestyle","Sites related to lifestyle that are not included in other categories like fashion, food & drink etc."
"Social Networks","Sites that facilitate interaction and networking between people."
"Society & Lifestyle","Sites related to lifestyle that are not included in other categories like fashion, food & drink etc."
"Search Engines","Sites that allow users to search for content using keywords."
Technology,"Sites related to technology that are not included in the science category."
"News & Media","Sites related to news and media."
Entertainment,"Sites related to entertainment that are not includeded in other categories like Comic books, Audio streaming, Video streaming etc."

Dump dei risultati in JSON​

Formato comune del risultato:

[% IF notFirst;
",\n";
ELSE;
notFirst = 1;
END;

obj = {};
obj.query = query;
obj.categories = [];

FOREACH item IN p1.categories;
obj.categories.push({
name = item.name
desc = item.desc
});
END;

obj.json %]

Testo iniziale:

[

Testo finale:

]

Esempio di risultato:

[{"query":"yandex.ru","categories":[{"desc":"Sites related to news and media.","name":"News & Media"},{"desc":"Sites related to entertainment that are not includeded in other categories like Comic books, Audio streaming, Video streaming etc.","name":"Entertainment"}]},{"query":"google.com","categories":[{"desc":"Sites that allow users to search for content using keywords.","name":"Search Engines"},{"desc":"Sites related to technology that are not included in the science category.","name":"Technology"}]},{"query":"a-parser.com","categories":[{"desc":"Sites related to business.","name":"Business"},{"desc":"Sites that are related to business, economy, finance, education, science and technology.","name":"Business & Economy"}]}]
suggerimento

Affinché le opzioni "Prepend text" e "Append text" siano disponibili nell'Editor delle attività, è necessario attivare "More options".

Impostazioni possibili​

Nome parametroValore predefinitoDescrizione
Bypass CloudFlare☑Bypass automatico della verifica CloudFlare
Bypass CloudFlare with Chrome Max Pages10Numero massimo di pagine durante il bypass di CF tramite Chrome
Bypass CloudFlare with Chrome Headless☑Se l'opzione è attiva, il browser non verrà visualizzato durante il bypass di CF tramite Chrome
Use session☑Salva le sessioni valide, consentendo uno scraping ancora più veloce con meno errori.