Rank::KeysSo - Scraper keys.so

Visão geral do scraper

Keys.so é uma ferramenta de inteligência competitiva. O serviço permite orientar-se com a lista de concorrentes do seu site, ver por quais consultas eles são ranqueados na busca e por quais consultas seus anúncios são exibidos. Está disponível a maior base de consultas da Runet, com mais de 80 milhões de palavras-chave.

A funcionalidade do A-Parser permite salvar configurações de extração de dados para uso posterior (presets), definir agendamentos de extração de dados e muito mais. Você pode usar a multiplicação automática de consultas, substituição de subconsultas a partir de arquivos, combinação de caracteres alfanuméricos e listas para obter a maior quantidade possível de resultados.

A preservação dos resultados é possível na forma e estrutura que você necessita, graças ao poderoso motor de modelos integrado Template Toolkit que permite aplicar lógica adicional aos resultados e exibir dados em vários formatos, incluindo JSON, SQL e CSV.

Ir para DEMO Comprar A-Parser Pro ($299)

Dados coletados

Classificação por visibilidade na Runet
Classificação por alcance de chaves
Número de páginas no TOP-50
Tráfego de busca (Número estimado de usuários de busca orgânica por dia)
Número de páginas nos resultados de busca
Tráfego por página
Número de consultas por página
Avaliação de desempenho (Porcentagem de chaves do TOP50 que ocupam posições no TOP5)
Número de sites do proprietário do domínio no Adsense, Analytics, Leadia e Relap.io
Número de subdomínios do proprietário do domínio
Número de consultas no top-1, no top-3, no top-5, no top-10, no top-50
Páginas nos resultados orgânicos (obtém o link para a página e o número de chaves)
Lista de concorrentes (link para o domínio, número de chaves em comum, grau de similaridade do domínio, tráfego Yandex)
Frases-chave (consulta, frequência, posição)

Para sites com publicidade contextual:

Tráfego de contexto (Estimativa de tráfego do contexto sem considerar segmentações. Produto da frequência exata pela previsão de CTR, dividido por 30 dias)
Estimativa de orçamento (Estimativa de orçamento sem considerar segmentações. Produto da frequência exata pela previsão de CTR pelo custo por clique)
Número de anúncios no contexto
Número de consultas no contexto
Número de consultas por anúncio
Anúncios no contexto (Anúncio e número de consultas)
Concorrentes no contexto (Domínio, número de consultas em comum, total de consultas, número de anúncios)
Consultas do site no contexto (Consulta, frequência, posição, posicionamento, preço do clique)

Recursos

Escolha da região de resultados para Google e Yandex
Extração de dados com autorização (através da substituição de cookies)

Casos de uso

Obtenção de classificação por visibilidade na Runet, por alcance de chaves
Obtenção da quantidade de tráfego por página
Obtenção da quantidade de consultas no top-1, no top-3, no top-5, no top-10, no top-50
Busca de concorrentes do site
Obtenção da lista de consultas pelas quais o site é ranqueado na busca
Obtenção de anúncios de publicidade contextual do site
Obtenção de concorrentes no contexto
Coleta de dados por resultados regionais para Google e Yandex

Consultas

Como consultas, é necessário indicar o domínio, por exemplo:

a-parser.com

Exemplos de saída de resultados

O A-Parser suporta formatação flexível de resultados graças ao motor de modelos integrado Template Toolkit, o que permite exibir resultados em forma livre, bem como estruturada, por exemplo CSV ou JSON

Saída padrão

Formato do resultado:

Query - $query, By vision in runet - $by_vis, By keys - $by_keys, Requests in top 50 - $in_top50,  Search traf - $search_traff\n

Exemplo de resultado:

Query - a-parser.com, By vision in runet - 104606, By keys - 197798, Requests in top 50 - 1540,  Search traf - 57

Saída da lista de concorrentes

Formato do resultado:

$comp_keys.format('$links, $total_keys, $similarity, $traff_y\n')

Exemplo de resultado:

http://youtube.com, 1360, 0.00, 8286326
http://habr.com, 1174, 0.04, 116283
http://vc.ru, 1172, 0.06, 40749
http://zen.yandex.ru, 923, 0.00, 5944772
http://spark.ru, 870, 0.33, 2062
http://zennolab.com, 828, 2.78, 216
http://web-data-extractor.net, 819, 35.11, 53

Saída da lista de concorrentes em CSV

Formato do resultado:

[% FOREACH comp_keys;
  tools.CSVline(links, total_keys, similarity, traff_y);
END %]

Exemplo de resultado:

http://vk.com,5316893,12.18,8682202
http://youla.ru,5222139,84.47,231703
http://moskva.tiu.ru,4812708,59.84,323103
http://youtube.com,4543041,8.27,8286326
http://moskva.regmarkets.ru,4106292,61.62,13983
http://ozon.ru,3783344,46.81,580266

Dump da lista de concorrentes em JSON

Formato geral do resultado:

[% IF notFirst;
  ",\n";
ELSE;
  notFirst = 1;
END;

obj = {};
obj.query = query;
obj.competitors = [];

FOREACH item IN p1.comp_keys;
    obj.competitors.push({
        links = item.links
        total_keys = item.total_keys
        similarity = item.similarity
        traff_y = item.traff_y
    });
END;

obj.json %]

Texto inicial:

Texto final:

Exemplo de resultado:

[
    {
        "query": "avito.ru",
        "competitors": [
            {
                "traffic": "8682202",
                "similarity": "12.18",
                "total_keys": "5316893",
                "links": "http://vk.com"
            },
            {
                "traffic": "231703",
                "similarity": "84.47",
                "total_keys": "5222139",
                "links": "http://youla.ru"
            },
            {
                "traffic": "323103",
                "similarity": "59.84",
                "total_keys": "4812708",
                "links": "http://moskva.tiu.ru"
            }
        ]
    }
]

dica

Para que as opções "Prepend text" e "Append text" estejam disponíveis no Editor de Tarefas, é necessário ativar "More options".

Saída da lista de frases-chave

Formato do resultado:

$key_phrases.format('$req, $base_freq, $va_freq, $pos\n')

Exemplo de resultado:

a parser, 2870, 332, 1
a parser baixar torrent, 183, 181, 1
aparser, 435, 118, 1
a parser torrent, 285, 103, 1
a parser, 423, 101, 1
a parser com, 221, 87, 1
scraper de resultados do google, 66, 61, 1
verificador em massa de posições a parser, 53, 52, 1

Saída da lista de frases-chave em CSV

Formato do resultado:

[% FOREACH key_phrases;
  tools.CSVline(req, base_freq, va_freq, pos);
END %]

Exemplo de resultado:

"avito",59415062,9034027,1
"avito moscou",1782404,451582,1
"avito são petersburgo",634665,343183,1
avito,1207134,307012,1
"avito voronezh",629468,286035,1

Dump da lista de frases-chave em JSON

Formato geral do resultado:

[% IF notFirst;
  ",\n";
ELSE;
  notFirst = 1;
END;

obj = {};
obj.query = query;
obj.phrases = [];

FOREACH item IN p1.key_phrases;
    obj.phrases.push({
        req = item.req
        base_freq = item.base_freq
        va_freq = item.va_freq
        pos = item.pos
    });
END;

obj.json %]

Texto inicial:

Texto final:

Exemplo de resultado:

[
    {
        "query": "avito.ru",
        "phrases": [
            {
                "base_freq": "59415062",
                "req": "avito",
                "va_freq": "9034027",
                "pos": "1"
            },
            {
                "base_freq": "1782404",
                "req": "avito moscou",
                "va_freq": "451582",
                "pos": "1"
            },
            {
                "base_freq": "634665",
                "req": "avito são petersburgo",
                "va_freq": "343183",
                "pos": "1"
            }
        ]
    }
]

dica

Para que as opções "Prepend text" e "Append text" estejam disponíveis no Editor de Tarefas, é necessário ativar "More options".

Saída de páginas de resultados orgânicos

Formato do resultado:

$organic_pages.format('$pages, $keys\n')

Exemplo de resultado:

http://a-parser.com/, 315
http://a-parser.com/wiki/parsers/, 115
http://a-parser.com/a-parser-for-e-commerce/, 56
http://a-parser.com/wiki/js-parsers/, 44
http://a-parser.com/wiki/html-emailextractor/, 40
http://a-parser.com/resources/21/, 39
http://a-parser.com/threads/1809/, 35
http://a-parser.com/threads/4253/, 32

Saída de páginas de resultados orgânicos em CSV

Formato do resultado:

[% FOREACH organic_page;
    tools.CSVline(pages, keys);
END %]

Exemplo de resultado:

http://a-parser.com/, 315
http://a-parser.com/wiki/parsers/, 115
http://a-parser.com/a-parser-for-e-commerce/, 56
http://a-parser.com/wiki/js-parsers/, 44
http://a-parser.com/wiki/html-emailextractor/, 40
http://a-parser.com/resources/21/, 39
http://a-parser.com/threads/1809/, 35
http://a-parser.com/threads/4253/, 32

Dump de páginas de resultados orgânicos em JSON

Formato geral do resultado:

[% IF notFirst;
  ",\n";
ELSE;
  notFirst = 1;
END;

obj = {};
obj.query = query;
obj.organic = [];

FOREACH item IN p1.organic_pages;
    obj.organic.push({
        pages = item.pages
        keys = item.keys
    });
END;

obj.json %]

Texto inicial:

Texto final:

Exemplo de resultado:

[
    {
        "query": "avito.ru",
        "organic": [
            {
                "keys": "4652",
                "pages": "http://avito.ru/"
            },
            {
                "keys": "4563",
                "pages": "http://avito.ru/moskva/avtomobili"
            },
            {
                "keys": "4484",
                "pages": "http://avito.ru/moskva/kvartiry/sdam-ASgBAgICAUSSA8gQ"
            }
        ]
    }
]

dica

Para que as opções "Prepend text" e "Append text" estejam disponíveis no Editor de Tarefas, é necessário ativar "More options".

Saída de anúncios no contexto

Formato do resultado:

$ads_context.format('$aheader, $atext, $acount\n')

Exemplo de resultado:

Reparo de PCs e Laptops em Moscou, em Domicílio! Desde 2015 no Avito – Status Bronze. Recebimento de pedidos 24/7! · Computadores & Laptops. Tablets & Smartphones. Roteadores & WI - FI, 38658
Reserve um quarto no Avito. Viaje junto com o Avito, Hotéis e pousadas - muitas ofertas especialmente para você. Agora no Avito., 20122
Encontre trabalho na cidade de Moscou. No Avito Trabalho, Vagas recentes na cidade de Moscou. Avito - serviço de anúncios nº 1 na Rússia!, 20110

Saída de anúncios no contexto em CSV

Formato do resultado:

[% FOREACH ads_context;
  tools.CSVline(aheader, atext, acount);
END %]

Exemplo de resultado:

Reparo de PCs e Laptops em Moscou","em Domicílio! Desde 2015 no Avito – Status Bronze. Recebimento de pedidos 24/7! · Computadores & Laptops. Tablets & Smartphones. Roteadores & WI - FI",38658
"Reserve um quarto no Avito. Viaje junto com o Avito","Hotéis e pousadas - muitas ofertas especialmente para você. Agora no Avito.",20122
"Encontre trabalho na cidade de Moscou. No Avito Trabalho","Vagas recentes na cidade de Moscou. Avito - serviço de anúncios №1 na Rússia!",20110
"Cães no Avito. Comprar ou adotar gratuitamente.","Centenas de milhares de anúncios. Faça negócios vantajosos em toda a Rússia com a ajuda do Avito!",17306

Dump de anúncios no contexto em JSON

Formato geral do resultado:

[% IF notFirst;
  ",\n";
ELSE;
  notFirst = 1;
END;

obj = {};
obj.query = query;
obj.ads = [];

FOREACH item IN p1.ads_context;
    obj.ads.push({
        header = item.aheader
        text = item.atext
        count = item.acount
    });
END;

obj.json %]

Texto inicial:

Texto final:

Exemplo de resultado:

[
    {
        "ads": [
            {
                "count": "38658",
                "text": "em Domicílio! Desde 2015 no Avito – Status Bronze. Recebimento de pedidos 24/7! · Computadores & Laptops. Tablets & Smartphones. Roteadores & WI - FI",
                "header": "Reparo de PCs e Laptops em Moscou"
            },
            {
                "count": "20122",
                "text": "Hotéis e pousadas - muitas ofertas especialmente para você. Agora no Avito.",
                "header": "Reserve um quarto no Avito. Viaje junto com o Avito"
            },
            {
                "count": "20110",
                "text": "Vagas recentes na cidade de Moscou. Avito - serviço de anúncios №1 na Rússia!",
                "header": "Encontre trabalho na cidade de Moscou. No Avito Trabalho"
            }
        ],
        "query": "avito.ru"
    }
]

dica

Para que as opções "Prepend text" e "Append text" estejam disponíveis no Editor de Tarefas, é necessário ativar "More options".

Saída de concorrentes no contexto

Formato do resultado:

$comp_context.format('$link, $common, $req, $ads\n')

Exemplo de resultado:

http://uslugi.yandex.ru, 340399, 11188812, 30632
http://superjob.ru, 180179, 885168, 19065
http://mvideo.ru, 174070, 2840150, 344731
http://pleer.ru, 166815, 2577993, 238284
http://ru.jobsora.com, 124103, 596184, 99781
http://citilink.ru, 114529, 1903350, 94937
http://goods.ru, 113373, 2684645, 328750
http://pokupki.market.yandex.ru, 81527, 2657498, 326255

Saída de concorrentes no contexto em CSV

Formato do resultado:

[% FOREACH comp_context; 
    tools.CSVline(link, common, req, ads);
END %]

Exemplo de resultado:

http://uslugi.yandex.ru, 340399, 11188812, 30632
http://superjob.ru, 180179, 885168, 19065
http://mvideo.ru, 174070, 2840150, 344731
http://pleer.ru, 166815, 2577993, 238284
http://ru.jobsora.com, 124103, 596184, 99781
http://citilink.ru, 114529, 1903350, 94937
http://goods.ru, 113373, 2684645, 328750
http://pokupki.market.yandex.ru, 81527, 2657498, 326255

Dump de concorrentes no contexto em JSON

Formato geral do resultado:

[% IF notFirst;
  ",\n";
ELSE;
  notFirst = 1;
END;

obj = {};
obj.query = query;
obj.competitors = [];

FOREACH item IN p1.comp_context;
    obj.competitors.push({
        link = item.link
        common = item.common
        req = item.req
        ads = item.ads
    });
END;

obj.json %]

Texto inicial:

Texto final:

Exemplo de resultado:

[
    {
        "query": "avito.ru",
        "competitors": [
            {
                "ads": "30632",
                "link": "http://uslugi.yandex.ru",
                "req": "11188812",
                "common": "340399"
            },
            {
                "ads": "19065",
                "link": "http://superjob.ru",
                "req": "885168",
                "common": "180179"
            },
            {
                "ads": "344731",
                "link": "http://mvideo.ru",
                "req": "2840150",
                "common": "174070"
            },
            
        ]
    }
]

dica

Para que as opções "Prepend text" e "Append text" estejam disponíveis no Editor de Tarefas, é necessário ativar "More options".

Saída de consultas do site no contexto

Formato do resultado:

$wreq_context.format('$request, $freq, $va_freq, $pos, $placement, $price\n')

Exemplo de resultado:

trabalho em chelyabinsk, 202530, 40163, 3, Espec., 4
álgebra 8ª série dorofeev, 217307, 18467, 2, Gar., 2
far cry 3, 113266, 23218, 5, Gar., 3
trabalho em barnaul, 128775, 26402, 3, Espec., 4
harry potter e a câmara secreta filme 2002, 36482, 30450, 2, Gar., 5
mazda 6, 554463, 25248, 6, Gar., 19
assassin s creed, 535915, 29419, 5, Gar., 5
avito ryazan, 325994, 137938, 3, Gar., 13

Saída de consultas do site no contexto em CSV

Formato do resultado:

[% FOREACH wreq_context;
    tools.CSVline(request, freq, va_freq, pos, placement, price);
END %]

Exemplo de resultado:

"trabalho em chelyabinsk",202530,40163,3,"Espec.",4
"álgebra 8ª série dorofeev",217307,18467,2,"Gar.",2
"far cry 3",113266,23218,5,"Gar.",3
"trabalho em barnaul",128775,26402,3,"Espec.",4
"harry potter e a câmara secreta filme 2002",36482,30450,2,"Gar.",5
"mazda 6",554463,25248,6,"Gar.",19
"assassin s creed",535915,29419,5,"Gar.",5
"avito ryazan",325994,137938,3,"Gar.",13
"avito região de ryazan",72077,19586,2,"Gar.",20

Dump de consultas do site no contexto em JSON

Formato geral do resultado:

[% IF notFirst;
  ",\n";
ELSE;
  notFirst = 1;
END;

obj = {};
obj.query = query;
obj.wreq = [];

FOREACH item IN p1.wreq_context;
    obj.wreq.push({
        request = item.request
        freq = item.freq
        va_freq = item.va_freq
        pos = item.pos
        placement = item.placement
        price = item.price
    });
END;

obj.json %]

Texto inicial:

Texto final:

Exemplo de resultado:

[
    {
        "query": "avito.ru",
        "wreq": [
            {
                "request": "trabalho em chelyabinsk",
                "placement": "Espec.",
                "freq": "202530",
                "va_freq": "40163",
                "price": "4",
                "pos": "3"
            },
            {
                "request": "álgebra 8ª série dorofeev",
                "placement": "Gar.",
                "freq": "217307",
                "va_freq": "18467",
                "price": "2",
                "pos": "2"
            },
            {
                "request": "far cry 3",
                "placement": "Gar.",
                "freq": "113266",
                "va_freq": "23218",
                "price": "3",
                "pos": "5"
            }
        ]
    }
]

dica

Para que as opções "Prepend text" e "Append text" estejam disponíveis no Editor de Tarefas, é necessário ativar "More options".

Configurações possíveis

nota

Configurações gerais para todos os scrapers

Parâmetro	Valor padrão	Descrição
Search DB	`Yandex Moscow`	Escolha da base de busca
Cookie "userlogin="		Neste campo é necessário indicar o valor do cookie `userlogin`, obtido no navegador após a autorização

Visão geral do scraper​

Dados coletados​

Recursos​

Casos de uso​

Consultas​

Exemplos de saída de resultados​

Saída padrão​

Saída da lista de concorrentes​

Saída da lista de concorrentes em CSV​

Dump da lista de concorrentes em JSON​

Saída da lista de frases-chave​

Saída da lista de frases-chave em CSV​

Dump da lista de frases-chave em JSON​

Saída de páginas de resultados orgânicos​

Saída de páginas de resultados orgânicos em CSV​

Dump de páginas de resultados orgânicos em JSON​

Saída de anúncios no contexto​

Saída de anúncios no contexto em CSV​

Dump de anúncios no contexto em JSON​

Saída de concorrentes no contexto​

Saída de concorrentes no contexto em CSV​

Dump de concorrentes no contexto em JSON​

Saída de consultas do site no contexto​

Saída de consultas do site no contexto em CSV​

Dump de consultas do site no contexto em JSON​

Configurações possíveis​

Visão geral do scraper

Dados coletados

Recursos

Casos de uso

Consultas

Exemplos de saída de resultados

Saída padrão

Saída da lista de concorrentes

Saída da lista de concorrentes em CSV

Dump da lista de concorrentes em JSON

Saída da lista de frases-chave

Saída da lista de frases-chave em CSV

Dump da lista de frases-chave em JSON

Saída de páginas de resultados orgânicos

Saída de páginas de resultados orgânicos em CSV

Dump de páginas de resultados orgânicos em JSON

Saída de anúncios no contexto

Saída de anúncios no contexto em CSV

Dump de anúncios no contexto em JSON

Saída de concorrentes no contexto

Saída de concorrentes no contexto em CSV

Dump de concorrentes no contexto em JSON

Saída de consultas do site no contexto

Saída de consultas do site no contexto em CSV

Dump de consultas do site no contexto em JSON

Configurações possíveis