Cloudflare::Radar - Scraper Cloudflare Radar

Visão geral do scraper

O scraper Cloudflare Radar permite determinar rapidamente a categoria de um site pelo nome de domínio.

A preservação dos resultados é possível na forma e estrutura que você necessita, graças ao poderoso mecanismo de modelos integrado Template Toolkit que permite aplicar lógica adicional aos resultados e exibir dados em vários formatos, incluindo JSON, SQL e CSV

Ir para DEMOComprar A-Parser Pro ($299)

Dados coletados

Os dados são coletados do serviço radar.cloudflare.com

• Categorias do site

Casos de uso

• Determinar a qual categoria de sites um domínio pertence

Consultas

Como consultas, você deve especificar uma lista de domínios, por exemplo:

a-parser.com  
yandex.ru  
google.com  
vk.com  
facebook.com  
youtube.com

Exemplos de saída de resultados

O A-Parser suporta formatação flexível de resultados graças ao mecanismo de modelos integrado Template Toolkit, o que permite exibir resultados em forma livre, bem como em forma estruturada, como CSV ou JSON

Saída padrão

Formato do resultado:

$query: $categories.format('$name, ')\n

Exemplo de resultado, no qual as categorias e suas descrições são exibidas:

a-parser.com: Business, Business & Economy, 
yandex.ru: News & Media, Entertainment, 
vk.com: Social Networks, Society & Lifestyle, 
youtube.com: Video Streaming, Entertainment, 
facebook.com: Social Networks, Society & Lifestyle, 
google.com: Search Engines, Technology, 

Saída em tabela CSV

Formato do resultado:

[% FOREACH categories;
    tools.CSVline(name, desc);
END %]

Exemplo de resultado:

Business,"Sites related to business."
"Business & Economy","Sites that are related to business, economy, finance, education, science and technology."
"Social Networks","Sites that facilitate interaction and networking between people."
"Society & Lifestyle","Sites related to lifestyle that are not included in other categories like fashion, food & drink etc."
"Social Networks","Sites that facilitate interaction and networking between people."
"Society & Lifestyle","Sites related to lifestyle that are not included in other categories like fashion, food & drink etc."
"Search Engines","Sites that allow users to search for content using keywords."
Technology,"Sites related to technology that are not included in the science category."
"News & Media","Sites related to news and media."
Entertainment,"Sites related to entertainment that are not includeded in other categories like Comic books, Audio streaming, Video streaming etc."

Dump de resultados em JSON

Formato geral do resultado:

[% IF notFirst;
  ",\n";
ELSE;
  notFirst = 1;
END;

obj = {};
obj.query = query;
obj.categories = [];

FOREACH item IN p1.categories;
    obj.categories.push({
        name = item.name
        desc = item.desc
    });
END;

obj.json %]

Texto inicial:

[

Texto final:

]

Exemplo de resultado:

[{"query":"yandex.ru","categories":[{"desc":"Sites related to news and media.","name":"News & Media"},{"desc":"Sites related to entertainment that are not includeded in other categories like Comic books, Audio streaming, Video streaming etc.","name":"Entertainment"}]},{"query":"google.com","categories":[{"desc":"Sites that allow users to search for content using keywords.","name":"Search Engines"},{"desc":"Sites related to technology that are not included in the science category.","name":"Technology"}]},{"query":"a-parser.com","categories":[{"desc":"Sites related to business.","name":"Business"},{"desc":"Sites that are related to business, economy, finance, education, science and technology.","name":"Business & Economy"}]}]

dica

Para que as opções "Prepend text" e "Append text" estejam disponíveis no Editor de tarefas, é necessário ativar "More options".

Configurações possíveis

nota

Configurações gerais para todos os scrapers

Nome do parâmetro	Valor padrão	Descrição
Bypass CloudFlare with Chrome Max Pages	10	Número máx. de páginas ao contornar CF via Chrome
Bypass CloudFlare with Chrome Headless	☑	Se a opção estiver ativada, o navegador não será exibido durante o contorno do CF via Chrome
Use session	☑	Salva sessões boas, o que permite a extração de dados ainda mais rápida, obtendo menos erros.