Cloudflare::Radar - Парсер Cloudflare Radar | Документация | A-Parser - парсер для SEO, маркетинга, разработчиков и SaaS
Перейти к основному содержимому

Cloudflare::Radar - Парсер Cloudflare Radar

Обзор парсера Cloudflare Radar

img

Парсер Cloudflare Radar позволяет быстро определить категорию сайта по доменному имени.

Сохранение результатов возможно в том виде и структуре которая вам необходима, благодаря встроенному мощному шаблонизатору Template Toolkit который позволяет применять дополнительную логику к результатам и выводить данные в различных форматах, включая JSON, SQL и CSV

Собираемые данные

  • Данные собираются с сервиса https://radar.cloudflare.com/
  • Категории сайта (название и описание)

Варианты использования

  • Определение к какой категориии сайтов принадлежит домен

Запросы

  • В качестве запросов необходимо указывать список доменов, например:

a-parser.com
yandex.ru
google.com
vk.com
facebook.com
youtube.com

Результаты

  • В результате отображены категории и их описание:
yandex.ru:
News & Media - Sites related to news and media.
Entertainment - Sites related to entertainment that are not includeded in other categories like Comic books, Audio streaming, Video streaming etc.
youtube.com:
Video Streaming - Sites that offer streaming or downloadable videos.
Entertainment - Sites related to entertainment that are not includeded in other categories like Comic books, Audio streaming, Video streaming etc.
facebook.com:
Social Networks - Sites that facilitate interaction and networking between people.
Society & Lifestyle - Sites related to lifestyle that are not included in other categories like fashion, food & drink etc.
google.com:
Search Engines - Sites that allow users to search for content using keywords.
Technology - Sites related to technology that are not included in the science category.
vk.com:
Social Networks - Sites that facilitate interaction and networking between people.
Society & Lifestyle - Sites related to lifestyle that are not included in other categories like fashion, food & drink etc.
a-parser.com:
Business - Sites related to business.
Business & Economy - Sites that are related to business, economy, finance, education, science and technology.

Варианты вывода результатов

A-Parser поддерживает гибкое форматирование результатов благодаря встроенному шаблонизатору Template Toolkit, что позволяет ему выводить результаты в произвольной форме, а также в структуированной, например CSV или JSON

Вывод основных данных о домене

Формат результата:

$query:\n$categories.format('$name - $desc\n')

Формат результата для CSV:

[%  FOREACH categories;    tools.CSVline(name, desc); END  %]

Пример результат:

Business,"Sites related to business."
"Business & Economy","Sites that are related to business, economy, finance, education, science and technology."
"Social Networks","Sites that facilitate interaction and networking between people."
"Society & Lifestyle","Sites related to lifestyle that are not included in other categories like fashion, food & drink etc."
"Social Networks","Sites that facilitate interaction and networking between people."
"Society & Lifestyle","Sites related to lifestyle that are not included in other categories like fashion, food & drink etc."
"Search Engines","Sites that allow users to search for content using keywords."
Technology,"Sites related to technology that are not included in the science category."
"News & Media","Sites related to news and media."
Entertainment,"Sites related to entertainment that are not includeded in other categories like Comic books, Audio streaming, Video streaming etc."

Формат результата в JSON:

Начальный текст:

[% data = {} %]

Конечный текст:

[% data.json %]

Общий формат результата:

[%  
obj = {};
obj.query = query;
obj.categories = [];
FOREACH p1.categories;
category = {};
category.name = name;
category.desc = desc;
obj.categories.push(category);
END;
data.push(obj)
%]

Пример результата:

[{"query":"yandex.ru","categories":[{"desc":"Sites related to news and media.","name":"News & Media"},{"desc":"Sites related to entertainment that are not includeded in other categories like Comic books, Audio streaming, Video streaming etc.","name":"Entertainment"}]},{"query":"google.com","categories":[{"desc":"Sites that allow users to search for content using keywords.","name":"Search Engines"},{"desc":"Sites related to technology that are not included in the science category.","name":"Technology"}]},{"query":"a-parser.com","categories":[{"desc":"Sites related to business.","name":"Business"},{"desc":"Sites that are related to business, economy, finance, education, science and technology.","name":"Business & Economy"}]}]
tip

Чтобы опции "Начальный текст" и "Конечный текст" были доступны в Редакторе заданий, нужно активировать "Больше опций".

Возможные настройки

Название параметраЗначение по умолчаниюОписание
User-AgentMozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/106.0.0.0 Safari/537.36Заголовок User-Agent при запросе страниц
Chrome HeadlessЕсли опция включена, браузер не будет отображаться