Ga naar de hoofdinhoud

Cloudflare::Radar - publieke domeingegevens van Cloudflare Radar

img

Overzicht van de scraper​

De scraper Cloudflare::Radar haalt publieke informatie over een domein op uit de webinterface van Cloudflare Radar: domeinkaart, WHOIS, DNS-records, ondersteuning voor post-quantum TLS, verdeling van bezoekers per land, tabel met URL-scans en rankinggeschiedenis.

Het opslaan van resultaten is mogelijk in de vorm en structuur die u nodig heeft, dankzij de ingebouwde krachtige sjabloon-engine Template Toolkit waarmee u extra logica op de resultaten kunt toepassen en gegevens in verschillende formaten kunt uitvoeren, waaronder JSON, SQL en CSV

Verzamelde gegevens​

  • $asn — ASN-nummer
  • $asn_name — naam van het autonome systeem
  • $asn_country — land van het ASN
  • $dnssec — DNSSEC
  • $created_date, $updated_date, $expiration_date — WHOIS-datums
  • $registrar — registrar
  • $pq — ondersteuning voor post-quantum TLS
  • $kexName — naam van de sleuteluitwisseling (KEX)
  • Array $categories:
    • $categories.$i.name — naam van de websitecategorie
  • Array $nameservers:
    • $nameservers.$i.name — NS-server
  • Array $status:
    • $status.$i.status — domeinstatus in WHOIS
  • Array $records:
    • $records.$i.type — type DNS-record
    • $records.$i.name — naam
    • $records.$i.data — waarde (RDATA)
  • Array $geo (bezoekersverdeling):
    • $geo.$i.code — landcode
    • $geo.$i.value — waarde uit Radar
  • Array $scans (URL-scans per domein):
    • $scans.$i.uuid — UUID
    • $scans.$i.url — URL
    • $scans.$i.time — tijd
    • $scans.$i.isMalicious — indicatie van schadelijkheid
  • Array $rankHistory:
    • $rankHistory.$i.date — datum
    • $rankHistory.$i.rank — rang

Toepassingen​

  • Bepalen van websitecategorieën per domein
  • Overzicht van ASN en DNSSEC
  • WHOIS: datums, registrar, NS, statussen
  • Lijst met DNS-records
  • Controle van post-quantum TLS en KEX
  • Bezoekersgeografie, URL-scans, domeinranggeschiedenis

Query's​

Als query's moet een lijst met domeinen worden opgegeven, bijvoorbeeld:

a-parser.com  
yandex.ru
google.com
vk.com
facebook.com
youtube.com

Voorbeelden van resultaatuitvoer​

A-Parser ondersteunt flexibele formattering van resultaten dankzij de ingebouwde sjabloon-engine Template Toolkit, waardoor resultaten in een willekeurige vorm kunnen worden uitgevoerd, evenals in een gestructureerde vorm zoals CSV of JSON

Standaard uitvoer​

Resultaatformaat:

$query: $categories.format('$name, ')\n

Voorbeeld van een resultaat waarin categorieën en hun beschrijving worden weergegeven:

a-parser.com: Business, Business & Economy, 
yandex.ru: News & Media, Entertainment,
vk.com: Social Networks, Society & Lifestyle,
youtube.com: Video Streaming, Entertainment,
facebook.com: Social Networks, Society & Lifestyle,
google.com: Search Engines, Technology,

Uitvoer naar CSV-tabel​

Resultaatformaat:

[% FOREACH categories;
tools.CSVline(name, desc);
END %]

Voorbeeldresultaat:

Business,"Sites related to business."
"Business & Economy","Sites that are related to business, economy, finance, education, science and technology."
"Social Networks","Sites that facilitate interaction and networking between people."
"Society & Lifestyle","Sites related to lifestyle that are not included in other categories like fashion, food & drink etc."
"Social Networks","Sites that facilitate interaction and networking between people."
"Society & Lifestyle","Sites related to lifestyle that are not included in other categories like fashion, food & drink etc."
"Search Engines","Sites that allow users to search for content using keywords."
Technology,"Sites related to technology that are not included in the science category."
"News & Media","Sites related to news and media."
Entertainment,"Sites related to entertainment that are not includeded in other categories like Comic books, Audio streaming, Video streaming etc."

Resultaten dumpen naar JSON​

Algemeen resultaatformaat:

[% IF notFirst;
",\n";
ELSE;
notFirst = 1;
END;

obj = {};
obj.query = query;
obj.categories = [];

FOREACH item IN p1.categories;
obj.categories.push({
name = item.name
desc = item.desc
});
END;

obj.json %]

Begintekst:

[

Eindtekst:

]

Voorbeeldresultaat:

[{"query":"yandex.ru","categories":[{"desc":"Sites related to news and media.","name":"News & Media"},{"desc":"Sites related to entertainment that are not includeded in other categories like Comic books, Audio streaming, Video streaming etc.","name":"Entertainment"}]},{"query":"google.com","categories":[{"desc":"Sites that allow users to search for content using keywords.","name":"Search Engines"},{"desc":"Sites related to technology that are not included in the science category.","name":"Technology"}]},{"query":"a-parser.com","categories":[{"desc":"Sites related to business.","name":"Business"},{"desc":"Sites that are related to business, economy, finance, education, science and technology.","name":"Business & Economy"}]}]
tip

Om de opties "Prepend text" en "Append text" beschikbaar te maken in de Taakeditor, moet u "More options" activeren.

Mogelijke instellingen​

Naam parameterStandaardwaardeBeschrijving
Bypass CloudFlare☑Automatische omzeiling van CloudFlare-controle
Bypass CloudFlare with Chrome Max Pages10Max. aantal pagina's bij het omzeilen van CF via Chrome
Bypass CloudFlare with Chrome Headless☑Als deze optie is ingeschakeld, wordt de browser niet weergegeven tijdens het omzeilen van CF via Chrome
Use session☑Slaat goede sessies op, waardoor het scrapen nog sneller gaat met minder fouten.