Przejdź do treści głównej

Cloudflare::Radar - publiczne dane o domenie z Cloudflare Radar

img

Przegląd scrapera​

Scraper Cloudflare::Radar pobiera publiczne informacje o domenie z interfejsu webowego Cloudflare Radar: kartę domeny, WHOIS, rekordy DNS, wsparcie dla post-quantum TLS, rozkład odwiedzających według krajów, tabelę skanów URL oraz historię rankingu.

Zapisywanie wyników jest możliwe w dowolnej formie i strukturze, dzięki wbudowanemu potężnemu silnikowi szablonów Template Toolkit, który pozwala stosować dodatkową logikę do wyników i wyświetlać dane w różnych formatach, w tym JSON, SQL i CSV

Zbierane dane​

  • $asn — numer ASN
  • $asn_name — nazwa systemu autonomicznego
  • $asn_country — kraj ASN
  • $dnssec — DNSSEC
  • $created_date, $updated_date, $expiration_date — daty WHOIS
  • $registrar — rejestrator
  • $pq — wsparcie post-quantum TLS
  • $kexName — nazwa wymiany kluczy (KEX)
  • Tablica $categories:
    • $categories.$i.name — nazwa kategorii strony
  • Tablica $nameservers:
    • $nameservers.$i.name — serwer NS
  • Tablica $status:
    • $status.$i.status — status domeny w WHOIS
  • Tablica $records:
    • $records.$i.type — typ rekordu DNS
    • $records.$i.name — nazwa
    • $records.$i.data — wartość (RDATA)
  • Tablica $geo (rozkład odwiedzających):
    • $geo.$i.code — kod kraju
    • $geo.$i.value — wartość z Radar
  • Tablica $scans (skany URL dla domeny):
    • $scans.$i.uuid — UUID
    • $scans.$i.url — URL
    • $scans.$i.time — czas
    • $scans.$i.isMalicious — znacznik szkodliwości
  • Tablica $rankHistory:
    • $rankHistory.$i.date — data
    • $rankHistory.$i.rank — ranga

Zastosowania​

  • Określanie kategorii strony na podstawie domeny
  • Podsumowanie ASN i DNSSEC
  • WHOIS: daty, rejestrator, NS, statusy
  • Lista rekordów DNS
  • Sprawdzanie post-quantum TLS i KEX
  • Geo odwiedzających, skany URL, historia rangi domeny

Zapytania​

Jako zapytania należy podać listę domen, na przykład:

a-parser.com  
yandex.ru
google.com
vk.com
facebook.com
youtube.com

Warianty wyświetlania wyników​

A-Parser obsługuje elastyczne formatowanie wyników dzięki wbudowanemu silnikowi szablonów Template Toolkit, co pozwala na wyświetlanie wyników w dowolnej formie, a także w formie ustrukturyzowanej, np. CSV lub JSON

Wynik domyślny​

Format wyniku:

$query: $categories.format('$name, ')\n

Przykład wyniku, w którym wyświetlane są kategorie i ich opisy:

a-parser.com: Business, Business & Economy, 
yandex.ru: News & Media, Entertainment,
vk.com: Social Networks, Society & Lifestyle,
youtube.com: Video Streaming, Entertainment,
facebook.com: Social Networks, Society & Lifestyle,
google.com: Search Engines, Technology,

Wynik w tabeli CSV​

Format wyniku:

[% FOREACH categories;
tools.CSVline(name, desc);
END %]

Przykład wyniku:

Business,"Sites related to business."
"Business & Economy","Sites that are related to business, economy, finance, education, science and technology."
"Social Networks","Sites that facilitate interaction and networking between people."
"Society & Lifestyle","Sites related to lifestyle that are not included in other categories like fashion, food & drink etc."
"Social Networks","Sites that facilitate interaction and networking between people."
"Society & Lifestyle","Sites related to lifestyle that are not included in other categories like fashion, food & drink etc."
"Search Engines","Sites that allow users to search for content using keywords."
Technology,"Sites related to technology that are not included in the science category."
"News & Media","Sites related to news and media."
Entertainment,"Sites related to entertainment that are not includeded in other categories like Comic books, Audio streaming, Video streaming etc."

Zrzut wyników do JSON​

Ogólny format wyniku:

[% IF notFirst;
",\n";
ELSE;
notFirst = 1;
END;

obj = {};
obj.query = query;
obj.categories = [];

FOREACH item IN p1.categories;
obj.categories.push({
name = item.name
desc = item.desc
});
END;

obj.json %]

Tekst początkowy:

[

Tekst końcowy:

]

Przykład wyniku:

[{"query":"yandex.ru","categories":[{"desc":"Sites related to news and media.","name":"News & Media"},{"desc":"Sites related to entertainment that are not includeded in other categories like Comic books, Audio streaming, Video streaming etc.","name":"Entertainment"}]},{"query":"google.com","categories":[{"desc":"Sites that allow users to search for content using keywords.","name":"Search Engines"},{"desc":"Sites related to technology that are not included in the science category.","name":"Technology"}]},{"query":"a-parser.com","categories":[{"desc":"Sites related to business.","name":"Business"},{"desc":"Sites that are related to business, economy, finance, education, science and technology.","name":"Business & Economy"}]}]
wskazówka

Aby opcje "Prepend text" i "Append text" były dostępne w Edytorze zadań, należy aktywować "More options".

Możliwe ustawienia​

Nazwa parametruWartość domyślnaOpis
Bypass CloudFlare☑Automatyczne omijanie weryfikacji CloudFlare
Bypass CloudFlare with Chrome Max Pages10Maks. liczba stron podczas obchodzenia CF przez Chrome
Bypass CloudFlare with Chrome Headless☑Jeśli opcja jest włączona, przeglądarka nie będzie wyświetlana podczas obchodzenia CF przez Chrome
Use session☑Zapisuje dobre sesje, co pozwala na jeszcze szybsze scrapowanie przy mniejszej liczbie błędów.