Zum Hauptinhalt springen

Cloudflare::Radar - öffentliche Domain-Daten von Cloudflare Radar

img

Übersicht des Parsers​

Der Parser Cloudflare::Radar ruft öffentliche Informationen über eine Domain von der Weboberfläche Cloudflare Radar ab: Domain-Karte, WHOIS, DNS-Einträge, Post-Quantum TLS-Unterstützung, Besucherverteilung nach Ländern, Tabelle der URL-Scans und Ranking-Historie.

Die Speicherung der Ergebnisse ist in jeder von Ihnen benötigten Form und Struktur möglich, dank der integrierten leistungsstarken Template-Engine Template Toolkit, die es erlaubt, zusätzliche Logik auf die Ergebnisse anzuwenden und Daten in verschiedenen Formaten auszugeben, einschließlich JSON, SQL und CSV

Gesammelte Daten​

  • $asn — ASN-Nummer
  • $asn_name — Name des autonomen Systems
  • $asn_country — Land des ASN
  • $dnssec — DNSSEC
  • $created_date, $updated_date, $expiration_date — WHOIS-Daten
  • $registrar — Registrar
  • $pq — Post-Quantum TLS-Unterstützung
  • $kexName — Name des Schlüsselaustauschs (KEX)
  • Array $categories:
    • $categories.$i.name — Name der Website-Kategorie
  • Array $nameservers:
    • $nameservers.$i.name — NS-Server
  • Array $status:
    • $status.$i.status — Domain-Status im WHOIS
  • Array $records:
    • $records.$i.type — Typ des DNS-Eintrags
    • $records.$i.name — Name
    • $records.$i.data — Wert (RDATA)
  • Array $geo (Besucherverteilung):
    • $geo.$i.code — Ländercode
    • $geo.$i.value — Wert von Radar
  • Array $scans (URL-Scans pro Domain):
    • $scans.$i.uuid — UUID
    • $scans.$i.url — URL
    • $scans.$i.time — Zeit
    • $scans.$i.isMalicious — Kennzeichen für Bösartigkeit
  • Array $rankHistory:
    • $rankHistory.$i.date — Datum
    • $rankHistory.$i.rank — Rang

Anwendungsfälle​

  • Bestimmung von Website-Kategorien nach Domain
  • Zusammenfassung von ASN und DNSSEC
  • WHOIS: Daten, Registrar, NS, Status
  • Liste der DNS-Einträge
  • Überprüfung von Post-Quantum TLS und KEX
  • Besucher-Geodaten, URL-Scans, Domain-Ranking-Historie

Anfragen​

Als Anfragen muss eine Liste von Domains angegeben werden, zum Beispiel:

a-parser.com  
yandex.ru
google.com
vk.com
facebook.com
youtube.com

Beispiele für die Ergebnisausgabe​

A-Parser unterstützt eine flexible Formatierung der Ergebnisse dank der integrierten Template-Engine Template Toolkit, was es ermöglicht, Ergebnisse in beliebiger Form sowie strukturiert, zum Beispiel als CSV oder JSON, auszugeben.

Standardausgabe​

Ergebnisformat:

$query: $categories.format('$name, ')\n

Beispiel für ein Ergebnis, in dem Kategorien und deren Beschreibung angezeigt werden:

a-parser.com: Business, Business & Economy, 
yandex.ru: News & Media, Entertainment,
vk.com: Social Networks, Society & Lifestyle,
youtube.com: Video Streaming, Entertainment,
facebook.com: Social Networks, Society & Lifestyle,
google.com: Search Engines, Technology,

Ausgabe in eine CSV-Tabelle​

Ergebnisformat:

[% FOREACH categories;
tools.CSVline(name, desc);
END %]

Beispielergebnis:

Business,"Sites related to business."
"Business & Economy","Sites that are related to business, economy, finance, education, science and technology."
"Social Networks","Sites that facilitate interaction and networking between people."
"Society & Lifestyle","Sites related to lifestyle that are not included in other categories like fashion, food & drink etc."
"Social Networks","Sites that facilitate interaction and networking between people."
"Society & Lifestyle","Sites related to lifestyle that are not included in other categories like fashion, food & drink etc."
"Search Engines","Sites that allow users to search for content using keywords."
Technology,"Sites related to technology that are not included in the science category."
"News & Media","Sites related to news and media."
Entertainment,"Sites related to entertainment that are not includeded in other categories like Comic books, Audio streaming, Video streaming etc."

Ergebnis-Dump in JSON​

Allgemeines Ausgabeformat:

[% IF notFirst;
",\n";
ELSE;
notFirst = 1;
END;

obj = {};
obj.query = query;
obj.categories = [];

FOREACH item IN p1.categories;
obj.categories.push({
name = item.name
desc = item.desc
});
END;

obj.json %]

Anfangstext:

[

Endtext:

]

Beispielergebnis:

[{"query":"yandex.ru","categories":[{"desc":"Sites related to news and media.","name":"News & Media"},{"desc":"Sites related to entertainment that are not includeded in other categories like Comic books, Audio streaming, Video streaming etc.","name":"Entertainment"}]},{"query":"google.com","categories":[{"desc":"Sites that allow users to search for content using keywords.","name":"Search Engines"},{"desc":"Sites related to technology that are not included in the science category.","name":"Technology"}]},{"query":"a-parser.com","categories":[{"desc":"Sites related to business.","name":"Business"},{"desc":"Sites that are related to business, economy, finance, education, science and technology.","name":"Business & Economy"}]}]
Tipp

Damit die Optionen "Prepend text" und "Append text" im Task-Editor verfügbar sind, müssen Sie "More options" aktivieren.

Mögliche Einstellungen​

Name des ParametersStandardwertBeschreibung
Bypass CloudFlare☑Automatisches Umgehen der CloudFlare-Prüfung
Bypass CloudFlare with Chrome Max Pages10Max. Anzahl der Seiten beim Umgehen von CF über Chrome
Bypass CloudFlare with Chrome Headless☑Wenn die Option aktiviert ist, wird der Browser während der CF-Umgehung über Chrome nicht angezeigt
Use session☑Speichert gute Sitzungen, was eine noch schnellere Datenerfassung mit weniger Fehlern ermöglicht.