Passer au contenu principal

Cloudflare::Radar - données publiques sur le domaine depuis Cloudflare Radar

img

Présentation du scraper​

Le scraper Cloudflare::Radar récupère des informations publiques sur un domaine à partir de l'interface web de Cloudflare Radar : fiche du domaine, WHOIS, enregistrements DNS, support du TLS post-quantique, répartition des visiteurs par pays, tableau des scans d'URL et historique de classement.

La sauvegarde des résultats est possible dans la forme et la structure dont vous avez besoin, grâce au puissant moteur de gabarit intégré Template Toolkit qui permet d'appliquer une logique supplémentaire aux résultats et d'afficher les données dans divers formats, y compris JSON, SQL et CSV

Données collectées​

  • $asn — numéro ASN
  • $asn_name — nom du système autonome
  • $asn_country — pays de l'ASN
  • $dnssec — DNSSEC
  • $created_date, $updated_date, $expiration_date — dates WHOIS
  • $registrar — registraire
  • $pq — support du TLS post-quantique
  • $kexName — nom de l'échange de clés (KEX)
  • Tableau $categories :
    • $categories.$i.name — nom de la catégorie du site
  • Tableau $nameservers :
    • $nameservers.$i.name — serveur NS
  • Tableau $status :
    • $status.$i.status — statut du domaine dans le WHOIS
  • Tableau $records :
    • $records.$i.type — type d'enregistrement DNS
    • $records.$i.name — nom
    • $records.$i.data — valeur (RDATA)
  • Tableau $geo (répartition des visiteurs) :
    • $geo.$i.code — code pays
    • $geo.$i.value — valeur provenant de Radar
  • Tableau $scans (scans d'URL par domaine) :
    • $scans.$i.uuid — UUID
    • $scans.$i.url — URL
    • $scans.$i.time — heure
    • $scans.$i.isMalicious — indicateur de malveillance
  • Tableau $rankHistory :
    • $rankHistory.$i.date — date
    • $rankHistory.$i.rank — rang

Cas d'utilisation​

  • Détermination des catégories de sites par domaine
  • Résumé ASN et DNSSEC
  • WHOIS : dates, registraire, NS, statuts
  • Liste des enregistrements DNS
  • Vérification du TLS post-quantique et du KEX
  • Géo des visiteurs, scans d'URL, historique du rang du domaine

Requêtes​

En tant que requêtes, il est nécessaire d'indiquer une liste de domaines, par exemple :

a-parser.com  
yandex.ru
google.com
vk.com
facebook.com
youtube.com

Variantes d'affichage des résultats​

A-Parser prend en charge un formatage flexible des résultats grâce au moteur de gabarit intégré Template Toolkit, ce qui lui permet d'afficher les résultats sous une forme libre, ainsi que structurée, comme CSV ou JSON

Affichage par défaut​

Format du résultat :

$query: $categories.format('$name, ')\n

Exemple de résultat, affichant les catégories et leur description :

a-parser.com: Business, Business & Economy, 
yandex.ru: News & Media, Entertainment,
vk.com: Social Networks, Society & Lifestyle,
youtube.com: Video Streaming, Entertainment,
facebook.com: Social Networks, Society & Lifestyle,
google.com: Search Engines, Technology,

Affichage dans un tableau CSV​

Format du résultat :

[% FOREACH categories;
tools.CSVline(name, desc);
END %]

Exemple de résultat :

Business,"Sites related to business."
"Business & Economy","Sites that are related to business, economy, finance, education, science and technology."
"Social Networks","Sites that facilitate interaction and networking between people."
"Society & Lifestyle","Sites related to lifestyle that are not included in other categories like fashion, food & drink etc."
"Social Networks","Sites that facilitate interaction and networking between people."
"Society & Lifestyle","Sites related to lifestyle that are not included in other categories like fashion, food & drink etc."
"Search Engines","Sites that allow users to search for content using keywords."
Technology,"Sites related to technology that are not included in the science category."
"News & Media","Sites related to news and media."
Entertainment,"Sites related to entertainment that are not includeded in other categories like Comic books, Audio streaming, Video streaming etc."

Dump des résultats en JSON​

Format de sortie general:

[% IF notFirst;
",\n";
ELSE;
notFirst = 1;
END;

obj = {};
obj.query = query;
obj.categories = [];

FOREACH item IN p1.categories;
obj.categories.push({
name = item.name
desc = item.desc
});
END;

obj.json %]

Texte initial:

[

Texte final:

]

Exemple de résultat :

[{"query":"yandex.ru","categories":[{"desc":"Sites related to news and media.","name":"News & Media"},{"desc":"Sites related to entertainment that are not includeded in other categories like Comic books, Audio streaming, Video streaming etc.","name":"Entertainment"}]},{"query":"google.com","categories":[{"desc":"Sites that allow users to search for content using keywords.","name":"Search Engines"},{"desc":"Sites related to technology that are not included in the science category.","name":"Technology"}]},{"query":"a-parser.com","categories":[{"desc":"Sites related to business.","name":"Business"},{"desc":"Sites that are related to business, economy, finance, education, science and technology.","name":"Business & Economy"}]}]
astuce

Pour que les options "Prepend text" et "Append text" soient disponibles dans l'Éditeur de tâches, vous devez activer "More options".

Paramètres possibles​

Nom du paramètreValeur par défautDescription
Bypass CloudFlare☑Contournement automatique de la vérification CloudFlare
Bypass CloudFlare with Chrome Max Pages10Nombre max de pages lors du contournement de CF via Chrome
Bypass CloudFlare with Chrome Headless☑Si l'option est activée, le navigateur ne sera pas affiché pendant le contournement de CF via Chrome
Use session☑Sauvegarde les bonnes sessions, ce qui permet de collecter les données encore plus rapidement en recevant moins d'erreurs.