Cloudflare::Radar - publieke domeingegevens van Cloudflare Radar

Overzicht van de scraper
De scraper Cloudflare::Radar haalt publieke informatie over een domein op uit de webinterface van Cloudflare Radar: domeinkaart, WHOIS, DNS-records, ondersteuning voor post-quantum TLS, verdeling van bezoekers per land, tabel met URL-scans en rankinggeschiedenis.
Het opslaan van resultaten is mogelijk in de vorm en structuur die u nodig heeft, dankzij de ingebouwde krachtige sjabloon-engine Template Toolkit waarmee u extra logica op de resultaten kunt toepassen en gegevens in verschillende formaten kunt uitvoeren, waaronder JSON, SQL en CSV
Verzamelde gegevens
$asn— ASN-nummer$asn_name— naam van het autonome systeem$asn_country— land van het ASN$dnssec— DNSSEC$created_date,$updated_date,$expiration_date— WHOIS-datums$registrar— registrar$pq— ondersteuning voor post-quantum TLS$kexName— naam van de sleuteluitwisseling (KEX)- Array
$categories:$categories.$i.name— naam van de websitecategorie
- Array
$nameservers:$nameservers.$i.name— NS-server
- Array
$status:$status.$i.status— domeinstatus in WHOIS
- Array
$records:$records.$i.type— type DNS-record$records.$i.name— naam$records.$i.data— waarde (RDATA)
- Array
$geo(bezoekersverdeling):$geo.$i.code— landcode$geo.$i.value— waarde uit Radar
- Array
$scans(URL-scans per domein):$scans.$i.uuid— UUID$scans.$i.url— URL$scans.$i.time— tijd$scans.$i.isMalicious— indicatie van schadelijkheid
- Array
$rankHistory:$rankHistory.$i.date— datum$rankHistory.$i.rank— rang
Toepassingen
- Bepalen van websitecategorieën per domein
- Overzicht van ASN en DNSSEC
- WHOIS: datums, registrar, NS, statussen
- Lijst met DNS-records
- Controle van post-quantum TLS en KEX
- Bezoekersgeografie, URL-scans, domeinranggeschiedenis
Query's
Als query's moet een lijst met domeinen worden opgegeven, bijvoorbeeld:
a-parser.com
yandex.ru
google.com
vk.com
facebook.com
youtube.com
Voorbeelden van resultaatuitvoer
A-Parser ondersteunt flexibele formattering van resultaten dankzij de ingebouwde sjabloon-engine Template Toolkit, waardoor resultaten in een willekeurige vorm kunnen worden uitgevoerd, evenals in een gestructureerde vorm zoals CSV of JSON
Standaard uitvoer
Resultaatformaat:
$query: $categories.format('$name, ')\n
Voorbeeld van een resultaat waarin categorieën en hun beschrijving worden weergegeven:
a-parser.com: Business, Business & Economy,
yandex.ru: News & Media, Entertainment,
vk.com: Social Networks, Society & Lifestyle,
youtube.com: Video Streaming, Entertainment,
facebook.com: Social Networks, Society & Lifestyle,
google.com: Search Engines, Technology,
Uitvoer naar CSV-tabel
Resultaatformaat:
[% FOREACH categories;
tools.CSVline(name, desc);
END %]
Voorbeeldresultaat:
Business,"Sites related to business."
"Business & Economy","Sites that are related to business, economy, finance, education, science and technology."
"Social Networks","Sites that facilitate interaction and networking between people."
"Society & Lifestyle","Sites related to lifestyle that are not included in other categories like fashion, food & drink etc."
"Social Networks","Sites that facilitate interaction and networking between people."
"Society & Lifestyle","Sites related to lifestyle that are not included in other categories like fashion, food & drink etc."
"Search Engines","Sites that allow users to search for content using keywords."
Technology,"Sites related to technology that are not included in the science category."
"News & Media","Sites related to news and media."
Entertainment,"Sites related to entertainment that are not includeded in other categories like Comic books, Audio streaming, Video streaming etc."
Resultaten dumpen naar JSON
Algemeen resultaatformaat:
[% IF notFirst;
",\n";
ELSE;
notFirst = 1;
END;
obj = {};
obj.query = query;
obj.categories = [];
FOREACH item IN p1.categories;
obj.categories.push({
name = item.name
desc = item.desc
});
END;
obj.json %]
Begintekst:
[
Eindtekst:
]
Voorbeeldresultaat:
[{"query":"yandex.ru","categories":[{"desc":"Sites related to news and media.","name":"News & Media"},{"desc":"Sites related to entertainment that are not includeded in other categories like Comic books, Audio streaming, Video streaming etc.","name":"Entertainment"}]},{"query":"google.com","categories":[{"desc":"Sites that allow users to search for content using keywords.","name":"Search Engines"},{"desc":"Sites related to technology that are not included in the science category.","name":"Technology"}]},{"query":"a-parser.com","categories":[{"desc":"Sites related to business.","name":"Business"},{"desc":"Sites that are related to business, economy, finance, education, science and technology.","name":"Business & Economy"}]}]
Om de opties "Prepend text" en "Append text" beschikbaar te maken in de Taakeditor, moet u "More options" activeren.
Mogelijke instellingen
| Naam parameter | Standaardwaarde | Beschrijving |
|---|---|---|
| Bypass CloudFlare | ☑ | Automatische omzeiling van CloudFlare-controle |
| Bypass CloudFlare with Chrome Max Pages | 10 | Max. aantal pagina's bij het omzeilen van CF via Chrome |
| Bypass CloudFlare with Chrome Headless | ☑ | Als deze optie is ingeschakeld, wordt de browser niet weergegeven tijdens het omzeilen van CF via Chrome |
| Use session | ☑ | Slaat goede sessies op, waardoor het scrapen nog sneller gaat met minder fouten. |