Cloudflare::Radar - öffentliche Domain-Daten von Cloudflare Radar

Übersicht des Parsers
Der Parser Cloudflare::Radar ruft öffentliche Informationen über eine Domain von der Weboberfläche Cloudflare Radar ab: Domain-Karte, WHOIS, DNS-Einträge, Post-Quantum TLS-Unterstützung, Besucherverteilung nach Ländern, Tabelle der URL-Scans und Ranking-Historie.
Die Speicherung der Ergebnisse ist in jeder von Ihnen benötigten Form und Struktur möglich, dank der integrierten leistungsstarken Template-Engine Template Toolkit, die es erlaubt, zusätzliche Logik auf die Ergebnisse anzuwenden und Daten in verschiedenen Formaten auszugeben, einschließlich JSON, SQL und CSV
Gesammelte Daten
$asn— ASN-Nummer$asn_name— Name des autonomen Systems$asn_country— Land des ASN$dnssec— DNSSEC$created_date,$updated_date,$expiration_date— WHOIS-Daten$registrar— Registrar$pq— Post-Quantum TLS-Unterstützung$kexName— Name des Schlüsselaustauschs (KEX)- Array
$categories:$categories.$i.name— Name der Website-Kategorie
- Array
$nameservers:$nameservers.$i.name— NS-Server
- Array
$status:$status.$i.status— Domain-Status im WHOIS
- Array
$records:$records.$i.type— Typ des DNS-Eintrags$records.$i.name— Name$records.$i.data— Wert (RDATA)
- Array
$geo(Besucherverteilung):$geo.$i.code— Ländercode$geo.$i.value— Wert von Radar
- Array
$scans(URL-Scans pro Domain):$scans.$i.uuid— UUID$scans.$i.url— URL$scans.$i.time— Zeit$scans.$i.isMalicious— Kennzeichen für Bösartigkeit
- Array
$rankHistory:$rankHistory.$i.date— Datum$rankHistory.$i.rank— Rang
Anwendungsfälle
- Bestimmung von Website-Kategorien nach Domain
- Zusammenfassung von ASN und DNSSEC
- WHOIS: Daten, Registrar, NS, Status
- Liste der DNS-Einträge
- Überprüfung von Post-Quantum TLS und KEX
- Besucher-Geodaten, URL-Scans, Domain-Ranking-Historie
Anfragen
Als Anfragen muss eine Liste von Domains angegeben werden, zum Beispiel:
a-parser.com
yandex.ru
google.com
vk.com
facebook.com
youtube.com
Beispiele für die Ergebnisausgabe
A-Parser unterstützt eine flexible Formatierung der Ergebnisse dank der integrierten Template-Engine Template Toolkit, was es ermöglicht, Ergebnisse in beliebiger Form sowie strukturiert, zum Beispiel als CSV oder JSON, auszugeben.
Standardausgabe
Ergebnisformat:
$query: $categories.format('$name, ')\n
Beispiel für ein Ergebnis, in dem Kategorien und deren Beschreibung angezeigt werden:
a-parser.com: Business, Business & Economy,
yandex.ru: News & Media, Entertainment,
vk.com: Social Networks, Society & Lifestyle,
youtube.com: Video Streaming, Entertainment,
facebook.com: Social Networks, Society & Lifestyle,
google.com: Search Engines, Technology,
Ausgabe in eine CSV-Tabelle
Ergebnisformat:
[% FOREACH categories;
tools.CSVline(name, desc);
END %]
Beispielergebnis:
Business,"Sites related to business."
"Business & Economy","Sites that are related to business, economy, finance, education, science and technology."
"Social Networks","Sites that facilitate interaction and networking between people."
"Society & Lifestyle","Sites related to lifestyle that are not included in other categories like fashion, food & drink etc."
"Social Networks","Sites that facilitate interaction and networking between people."
"Society & Lifestyle","Sites related to lifestyle that are not included in other categories like fashion, food & drink etc."
"Search Engines","Sites that allow users to search for content using keywords."
Technology,"Sites related to technology that are not included in the science category."
"News & Media","Sites related to news and media."
Entertainment,"Sites related to entertainment that are not includeded in other categories like Comic books, Audio streaming, Video streaming etc."
Ergebnis-Dump in JSON
Allgemeines Ausgabeformat:
[% IF notFirst;
",\n";
ELSE;
notFirst = 1;
END;
obj = {};
obj.query = query;
obj.categories = [];
FOREACH item IN p1.categories;
obj.categories.push({
name = item.name
desc = item.desc
});
END;
obj.json %]
Anfangstext:
[
Endtext:
]
Beispielergebnis:
[{"query":"yandex.ru","categories":[{"desc":"Sites related to news and media.","name":"News & Media"},{"desc":"Sites related to entertainment that are not includeded in other categories like Comic books, Audio streaming, Video streaming etc.","name":"Entertainment"}]},{"query":"google.com","categories":[{"desc":"Sites that allow users to search for content using keywords.","name":"Search Engines"},{"desc":"Sites related to technology that are not included in the science category.","name":"Technology"}]},{"query":"a-parser.com","categories":[{"desc":"Sites related to business.","name":"Business"},{"desc":"Sites that are related to business, economy, finance, education, science and technology.","name":"Business & Economy"}]}]
Damit die Optionen "Prepend text" und "Append text" im Task-Editor verfügbar sind, müssen Sie "More options" aktivieren.
Mögliche Einstellungen
| Name des Parameters | Standardwert | Beschreibung |
|---|---|---|
| Bypass CloudFlare | ☑ | Automatisches Umgehen der CloudFlare-Prüfung |
| Bypass CloudFlare with Chrome Max Pages | 10 | Max. Anzahl der Seiten beim Umgehen von CF über Chrome |
| Bypass CloudFlare with Chrome Headless | ☑ | Wenn die Option aktiviert ist, wird der Browser während der CF-Umgehung über Chrome nicht angezeigt |
| Use session | ☑ | Speichert gute Sitzungen, was eine noch schnellere Datenerfassung mit weniger Fehlern ermöglicht. |