Hoppa till huvudinnehåll

Cloudflare::Radar - offentliga domändata från Cloudflare Radar

img

Översikt av scrapern​

Scrapern Cloudflare::Radar hämtar offentlig information om en domän från webbgränssnittet Cloudflare Radar: domänkort, WHOIS, DNS-poster, stöd för post-quantum TLS, besöksfördelning per land, tabell över URL-skanningar och rankningshistorik.

Resultaten kan sparas i det format och den struktur du behöver, tack vare den inbyggda kraftfulla mallmotorn Template Toolkit som gör det möjligt att tillämpa extra logik på resultaten och exportera data i olika format, inklusive JSON, SQL och CSV

Data som samlas in​

  • $asn — ASN-nummer
  • $asn_name — namn på autonomt system
  • $asn_country — ASN-land
  • $dnssec — DNSSEC
  • $created_date, $updated_date, $expiration_date — WHOIS-datum
  • $registrar — registrar
  • $pq — stöd för post-quantum TLS
  • $kexName — namn på nyckelutbyte (KEX)
  • Array $categories:
    • $categories.$i.name — namn på webbplatskategori
  • Array $nameservers:
    • $nameservers.$i.name — NS-server
  • Array $status:
    • $status.$i.status — domänstatus i WHOIS
  • Array $records:
    • $records.$i.type — typ av DNS-post
    • $records.$i.name — namn
    • $records.$i.data — värde (RDATA)
  • Array $geo (besöksfördelning):
    • $geo.$i.code — landskod
    • $geo.$i.value — värde från Radar
  • Array $scans (URL-skanningar för domänen):
    • $scans.$i.uuid — UUID
    • $scans.$i.url — URL
    • $scans.$i.time — tid
    • $scans.$i.isMalicious — indikation på skadligt innehåll
  • Array $rankHistory:
    • $rankHistory.$i.date — datum
    • $rankHistory.$i.rank — rank

Användningsfall​

  • Identifiering av webbplatskategorier per domän
  • Sammanfattning av ASN och DNSSEC
  • WHOIS: datum, registrar, NS, statusar
  • Lista över DNS-poster
  • Kontroll av post-quantum TLS och KEX
  • Besöksgeo, URL-skanningar, historik för domänrankning

Frågor​

Som frågor måste en lista över domäner anges, till exempel:

a-parser.com  
yandex.ru
google.com
vk.com
facebook.com
youtube.com

Exempel på resultatvisning​

A-Parser stöder flexibel formatering av resultat tack vare den inbyggda mallmotorn Template Toolkit, vilket gör att den kan visa resultat i valfri form, såväl som strukturerat, till exempel CSV eller JSON

Standardutdata​

Resultatformat:

$query: $categories.format('$name, ')\n

Exempel på resultat där kategorier och deras beskrivning visas:

a-parser.com: Business, Business & Economy, 
yandex.ru: News & Media, Entertainment,
vk.com: Social Networks, Society & Lifestyle,
youtube.com: Video Streaming, Entertainment,
facebook.com: Social Networks, Society & Lifestyle,
google.com: Search Engines, Technology,

Utdata till CSV-tabell​

Resultatformat:

[% FOREACH categories;
tools.CSVline(name, desc);
END %]

Exempel på resultat:

Business,"Sites related to business."
"Business & Economy","Sites that are related to business, economy, finance, education, science and technology."
"Social Networks","Sites that facilitate interaction and networking between people."
"Society & Lifestyle","Sites related to lifestyle that are not included in other categories like fashion, food & drink etc."
"Social Networks","Sites that facilitate interaction and networking between people."
"Society & Lifestyle","Sites related to lifestyle that are not included in other categories like fashion, food & drink etc."
"Search Engines","Sites that allow users to search for content using keywords."
Technology,"Sites related to technology that are not included in the science category."
"News & Media","Sites related to news and media."
Entertainment,"Sites related to entertainment that are not includeded in other categories like Comic books, Audio streaming, Video streaming etc."

Dumpa resultat till JSON​

Allmänt resultatformat:

[% IF notFirst;
",\n";
ELSE;
notFirst = 1;
END;

obj = {};
obj.query = query;
obj.categories = [];

FOREACH item IN p1.categories;
obj.categories.push({
name = item.name
desc = item.desc
});
END;

obj.json %]

Starttext:

[

Sluttext:

]

Exempel på resultat:

[{"query":"yandex.ru","categories":[{"desc":"Sites related to news and media.","name":"News & Media"},{"desc":"Sites related to entertainment that are not includeded in other categories like Comic books, Audio streaming, Video streaming etc.","name":"Entertainment"}]},{"query":"google.com","categories":[{"desc":"Sites that allow users to search for content using keywords.","name":"Search Engines"},{"desc":"Sites related to technology that are not included in the science category.","name":"Technology"}]},{"query":"a-parser.com","categories":[{"desc":"Sites related to business.","name":"Business"},{"desc":"Sites that are related to business, economy, finance, education, science and technology.","name":"Business & Economy"}]}]
tips

För att alternativen "Prepend text" och "Append text" ska vara tillgängliga i Task Editor, måste du aktivera "More options".

Möjliga inställningar​

Namn på parameterStandardvärdeBeskrivning
Bypass CloudFlare☑Automatisk kringgång av CloudFlare-kontroll
Bypass CloudFlare with Chrome Max Pages10Max antal sidor vid kringgång av CF via Chrome
Bypass CloudFlare with Chrome Headless☑Om alternativet är aktiverat kommer webbläsaren inte att visas under kringgång av CF via Chrome
Use session☑Sparar bra sessioner, vilket gör det möjligt att skrapa ännu snabbare med färre fel.