Ana içeriğe atla

Cloudflare::Radar - Cloudflare Radar'dan alan adı hakkında genel veriler

img

Veri kazıyıcı incelemesi​

Cloudflare::Radar veri kazıyıcı, Cloudflare Radar web arayüzünden bir alan adı hakkında genel bilgileri alır: alan adı kartı, WHOIS, DNS kayıtları, post-quantum TLS desteği, ülkelere göre ziyaretçi dağılımı, URL tarama tablosu ve sıralama geçmişi.

Sonuçların kaydedilmesi, sonuçlara ek mantık uygulamanıza ve verileri JSON, SQL ve CSV dahil olmak üzere çeşitli formatlarda çıktı almanıza olanak tanıyan yerleşik güçlü şablon motoru Template Toolkit sayesinde ihtiyacınız olan biçim ve yapıda mümkündür.

Toplanan veriler​

  • $asn — ASN numarası
  • $asn_name — otonom sistem adı
  • $asn_country — ASN ülkesi
  • $dnssec — DNSSEC
  • $created_date, $updated_date, $expiration_date — WHOIS tarihleri
  • $registrar — kayıt kuruluşu
  • $pq — post-quantum TLS desteği
  • $kexName — anahtar değişim adı (KEX)
  • $categories dizisi:
    • $categories.$i.name — site kategorisinin adı
  • $nameservers dizisi:
    • $nameservers.$i.name — NS sunucusu
  • $status dizisi:
    • $status.$i.status — WHOIS'teki alan adı durumu
  • $records dizisi:
    • $records.$i.type — DNS kayıt türü
    • $records.$i.name — ad
    • $records.$i.data — değer (RDATA)
  • $geo dizisi (ziyaretçi dağılımı):
    • $geo.$i.code — ülke kodu
    • $geo.$i.value — Radar'daki değer
  • $scans dizisi (alan adına göre URL taramaları):
    • $scans.$i.uuid — UUID
    • $scans.$i.url — URL
    • $scans.$i.time — zaman
    • $scans.$i.isMalicious — zararlı yazılım belirtisi
  • $rankHistory dizisi:
    • $rankHistory.$i.date — tarih
    • $rankHistory.$i.rank — sıralama

Kullanım durumları​

  • Alan adına göre site kategorilerini belirleme
  • ASN ve DNSSEC özeti
  • WHOIS: tarihler, kayıt kuruluşu, NS, durumlar
  • DNS kayıtları listesi
  • Post-quantum TLS ve KEX kontrolü
  • Ziyaretçi coğrafyası, URL taramaları, alan adı sıralama geçmişi

Sorgular​

Sorgu olarak alan adlarının listesini belirtmeniz gerekir, örneğin:

a-parser.com  
yandex.ru
google.com
vk.com
facebook.com
youtube.com

Sonuç çıktı seçenekleri​

A-Parser, yerleşik şablon motoru Template Toolkit sayesinde esnek sonuç formatlamayı destekler; bu da sonuçları rastgele bir formda veya CSV ya da JSON gibi yapılandırılmış bir biçimde çıktı almasına olanak tanır.

Varsayılan çıktı​

Sonuç formatı:

$query: $categories.format('$name, ')\n

Kategorilerin ve açıklamalarının görüntülendiği sonuç örneği:

a-parser.com: Business, Business & Economy, 
yandex.ru: News & Media, Entertainment,
vk.com: Social Networks, Society & Lifestyle,
youtube.com: Video Streaming, Entertainment,
facebook.com: Social Networks, Society & Lifestyle,
google.com: Search Engines, Technology,

CSV tablosuna çıktı​

Sonuç formatı:

[% FOREACH categories;
tools.CSVline(name, desc);
END %]

Sonuç örneği:

Business,"Sites related to business."
"Business & Economy","Sites that are related to business, economy, finance, education, science and technology."
"Social Networks","Sites that facilitate interaction and networking between people."
"Society & Lifestyle","Sites related to lifestyle that are not included in other categories like fashion, food & drink etc."
"Social Networks","Sites that facilitate interaction and networking between people."
"Society & Lifestyle","Sites related to lifestyle that are not included in other categories like fashion, food & drink etc."
"Search Engines","Sites that allow users to search for content using keywords."
Technology,"Sites related to technology that are not included in the science category."
"News & Media","Sites related to news and media."
Entertainment,"Sites related to entertainment that are not includeded in other categories like Comic books, Audio streaming, Video streaming etc."

Sonuçların JSON formatında dökümü​

Genel sonuç formatı:

[% IF notFirst;
",\n";
ELSE;
notFirst = 1;
END;

obj = {};
obj.query = query;
obj.categories = [];

FOREACH item IN p1.categories;
obj.categories.push({
name = item.name
desc = item.desc
});
END;

obj.json %]

Başlangıç metni:

[

Bitiş metni:

]

Sonuç örneği:

[{"query":"yandex.ru","categories":[{"desc":"Sites related to news and media.","name":"News & Media"},{"desc":"Sites related to entertainment that are not includeded in other categories like Comic books, Audio streaming, Video streaming etc.","name":"Entertainment"}]},{"query":"google.com","categories":[{"desc":"Sites that allow users to search for content using keywords.","name":"Search Engines"},{"desc":"Sites related to technology that are not included in the science category.","name":"Technology"}]},{"query":"a-parser.com","categories":[{"desc":"Sites related to business.","name":"Business"},{"desc":"Sites that are related to business, economy, finance, education, science and technology.","name":"Business & Economy"}]}]
ipucu

"Prepend text" ve "Append text" seçeneklerinin Görev Düzenleyici'de kullanılabilir olması için "More options" kısmını etkinleştirmeniz gerekir.

Olası ayarlar​

Parametre adıVarsayılan değerAçıklama
Bypass CloudFlare☑CloudFlare kontrolünü otomatik atlama
Bypass CloudFlare with Chrome Max Pages10Chrome üzerinden CF geçişi sırasında maksimum sayfa sayısı
Bypass CloudFlare with Chrome Headless☑Seçenek etkinse, Chrome üzerinden CF geçişi sırasında tarayıcı görüntülenmez
Use session☑İyi oturumları kaydeder, bu da daha az hata alarak daha hızlı veri çekilmesini sağlar.