Cloudflare::Radar - Cloudflare Radar Veri Kazıyıcı
Veri kazıyıcı incelemesi
Cloudflare Radar veri kazıyıcı, bir web sitesinin kategorisini alan adına göre hızlı bir şekilde belirlemenize olanak tanır.
Sonuçların kaydedilmesi, sonuçlara ek mantık uygulamanıza ve verileri JSON, SQL ve CSV dahil olmak üzere çeşitli formatlarda çıktı almanıza olanak tanıyan yerleşik güçlü şablon motoru Template Toolkit sayesinde ihtiyacınız olan biçim ve yapıda mümkündür.
Toplanan veriler
Veriler radar.cloudflare.com servisinden toplanır
- Web sitesi kategorileri
Kullanım durumları
- Bir alan adının hangi web sitesi kategorisine ait olduğunun belirlenmesi
Sorgular
Sorgu olarak alan adlarının listesini belirtmeniz gerekir, örneğin:
a-parser.com
yandex.ru
google.com
vk.com
facebook.com
youtube.com
Sonuç çıktı seçenekleri
A-Parser, yerleşik şablon motoru Template Toolkit sayesinde esnek sonuç formatlamayı destekler; bu da sonuçları rastgele bir formda veya CSV ya da JSON gibi yapılandırılmış bir biçimde çıktı almasına olanak tanır.
Varsayılan çıktı
Sonuç formatı:
$query: $categories.format('$name, ')\n
Kategorilerin ve açıklamalarının görüntülendiği sonuç örneği:
a-parser.com: Business, Business & Economy,
yandex.ru: News & Media, Entertainment,
vk.com: Social Networks, Society & Lifestyle,
youtube.com: Video Streaming, Entertainment,
facebook.com: Social Networks, Society & Lifestyle,
google.com: Search Engines, Technology,
CSV tablosuna çıktı
Sonuç formatı:
[% FOREACH categories;
tools.CSVline(name, desc);
END %]
Sonuç örneği:
Business,"Sites related to business."
"Business & Economy","Sites that are related to business, economy, finance, education, science and technology."
"Social Networks","Sites that facilitate interaction and networking between people."
"Society & Lifestyle","Sites related to lifestyle that are not included in other categories like fashion, food & drink etc."
"Social Networks","Sites that facilitate interaction and networking between people."
"Society & Lifestyle","Sites related to lifestyle that are not included in other categories like fashion, food & drink etc."
"Search Engines","Sites that allow users to search for content using keywords."
Technology,"Sites related to technology that are not included in the science category."
"News & Media","Sites related to news and media."
Entertainment,"Sites related to entertainment that are not includeded in other categories like Comic books, Audio streaming, Video streaming etc."
Sonuçların JSON formatında dökümü
Genel sonuç formatı:
[% IF notFirst;
",\n";
ELSE;
notFirst = 1;
END;
obj = {};
obj.query = query;
obj.categories = [];
FOREACH item IN p1.categories;
obj.categories.push({
name = item.name
desc = item.desc
});
END;
obj.json %]
Başlangıç metni:
[
Bitiş metni:
]
Sonuç örneği:
[{"query":"yandex.ru","categories":[{"desc":"Sites related to news and media.","name":"News & Media"},{"desc":"Sites related to entertainment that are not includeded in other categories like Comic books, Audio streaming, Video streaming etc.","name":"Entertainment"}]},{"query":"google.com","categories":[{"desc":"Sites that allow users to search for content using keywords.","name":"Search Engines"},{"desc":"Sites related to technology that are not included in the science category.","name":"Technology"}]},{"query":"a-parser.com","categories":[{"desc":"Sites related to business.","name":"Business"},{"desc":"Sites that are related to business, economy, finance, education, science and technology.","name":"Business & Economy"}]}]
"Prepend text" ve "Append text" seçeneklerinin Görev Düzenleyici'de kullanılabilir olması için "More options" kısmını etkinleştirmeniz gerekir.
Olası ayarlar
| Parametre adı | Varsayılan değer | Açıklama |
|---|---|---|
| Bypass CloudFlare with Chrome Max Pages | 10 | Chrome üzerinden CF geçişi sırasında maksimum sayfa sayısı |
| Bypass CloudFlare with Chrome Headless | ☑ | Seçenek etkinse, Chrome üzerinden CF geçişi sırasında tarayıcı görüntülenmez |
| Use session | ☑ | İyi oturumları kaydeder, bu da daha az hata alarak daha hızlı veri çekilmesini sağlar. |