Rank::KeysSo - Keys.so-scraper

Översikt av scrapern

Keys.so är ett verktyg för konkurrentanalys. Tjänsten gör det möjligt att orientera sig bland listan över konkurrenter för din webbplats, se vilka sökfrågor de rankar på i sökresultaten och vilka sökfrågor deras annonser visas för. Den största databasen med sökfrågor i Runet är tillgänglig, med över 80 miljoner sökord.

Funktionaliteten i A-Parser gör det möjligt att spara inställningar för dataskrapning för framtida bruk (förinställningar), schemalägga dataskrapning och mycket mer. Du kan använda automatisk multiplikation av frågor, infogning av underfrågor från filer, genomgång av alfanumeriska kombinationer och listor för att få största möjliga mängd resultat.

Spara resultat är möjligt i den form och struktur som du behöver, tack vare den inbyggda kraftfulla mallmotorn Template Toolkit som gör det möjligt att tillämpa ytterligare logik på resultaten och exportera data i olika format, inklusive JSON, SQL och CSV.

Gå till DEMO Köp A-Parser Pro ($299)

Data som samlas in

Ranking efter synlighet i Runet
Ranking efter sökordsräckvidd
Antal sidor i TOP-50
Söktrafik (Uppskattat antal användare från organiskt sök per dygn)
Antal sidor i sökresultaten
Trafik till sidan
Antal sökfrågor per sida
Effektivitetsbedömning (Procentandel sökord från TOP50 som innehar positioner i TOP5)
Antal webbplatser hos domänägaren i Adsense, Analytics, Leadia och Relap.io
Antal underdomäner hos domänägaren
Antal sökfrågor i topp-1, topp-3, topp-5, topp-10, topp-50
Sidor i det organiska sökresultatet (hämtar länk till sidan och antal sökord)
Lista över konkurrenter (länk till domän, antal gemensamma sökord, grad av domänlikhet, Yandex-trafik)
Sökfraser (fråga, frekvens, position)

För webbplatser med kontextuell annonsering:

Kontextuell trafik (Uppskattning av trafik från kontext utan hänsyn till inriktningar. Produkten av exakt frekvens och prognostiserad CTR, dividerat med 30 dagar)
Budgetuppskattning (Uppskattning av budget utan hänsyn till inriktningar. Produkten av exakt frekvens, prognostiserad CTR och klickpris)
Antal annonser i kontext
Antal sökfrågor i kontext
Antal sökfrågor per annons
Annonser i kontext (Annons och antal sökfrågor)
Konkurrenter i kontext (Domän, antal gemensamma frågor, totalt antal frågor, antal annonser)
Webbplatsens frågor i kontext (Fråga, frekvens, position, placering, klickpris)

Funktioner

Val av region för sökresultat för Google och Yandex
Dataskrapning med auktorisering (via insättning av cookies)

Användningsfall

Hämtning av ranking efter synlighet i Runet, efter sökordsräckvidd
Hämtning av trafikmängd till sidan
Hämtning av antal sökfrågor i topp-1, topp-3, topp-5, topp-10, topp-50
Sökning efter webbplatsens konkurrenter
Hämtning av en lista över sökfrågor som webbplatsen rankar på i sökresultaten
Hämtning av webbplatsens kontextuella annonser
Hämtning av konkurrenter i kontext
Insamling av data för regionala sökresultat för Google och Yandex

Frågor

Som frågor måste domänen anges, till exempel:

a-parser.com

Alternativ för resultatutmatning

A-Parser stöder flexibel formatering av resultat tack vare den inbyggda mallmotorn Template Toolkit, vilket gör det möjligt att mata ut resultat i valfri form, såväl som i strukturerad form, till exempel CSV eller JSON

Standardutmatning

Resultatformat:

Query - $query, By vision in runet - $by_vis, By keys - $by_keys, Requests in top 50 - $in_top50,  Search traf - $search_traff\n

Exempel på resultat:

Query - a-parser.com, By vision in runet - 104606, By keys - 197798, Requests in top 50 - 1540,  Search traf - 57

Utmatning av konkurrentlista

Resultatformat:

$comp_keys.format('$links, $total_keys, $similarity, $traff_y\n')

Exempel på resultat:

http://youtube.com, 1360, 0.00, 8286326
http://habr.com, 1174, 0.04, 116283
http://vc.ru, 1172, 0.06, 40749
http://zen.yandex.ru, 923, 0.00, 5944772
http://spark.ru, 870, 0.33, 2062
http://zennolab.com, 828, 2.78, 216
http://web-data-extractor.net, 819, 35.11, 53

Utmatning av konkurrentlista i CSV

Resultatformat:

[% FOREACH comp_keys;
  tools.CSVline(links, total_keys, similarity, traff_y);
END %]

Exempel på resultat:

http://vk.com,5316893,12.18,8682202
http://youla.ru,5222139,84.47,231703
http://moskva.tiu.ru,4812708,59.84,323103
http://youtube.com,4543041,8.27,8286326
http://moskva.regmarkets.ru,4106292,61.62,13983
http://ozon.ru,3783344,46.81,580266

Dumpning av konkurrentlista till JSON

Allmänt resultatformat:

[% IF notFirst;
  ",\n";
ELSE;
  notFirst = 1;
END;

obj = {};
obj.query = query;
obj.competitors = [];

FOREACH item IN p1.comp_keys;
    obj.competitors.push({
        links = item.links
        total_keys = item.total_keys
        similarity = item.similarity
        traff_y = item.traff_y
    });
END;

obj.json %]

Starttext:

Sluttext:

Exempel på resultat:

[
    {
        "query": "avito.ru",
        "competitors": [
            {
                "traffic": "8682202",
                "similarity": "12.18",
                "total_keys": "5316893",
                "links": "http://vk.com"
            },
            {
                "traffic": "231703",
                "similarity": "84.47",
                "total_keys": "5222139",
                "links": "http://youla.ru"
            },
            {
                "traffic": "323103",
                "similarity": "59.84",
                "total_keys": "4812708",
                "links": "http://moskva.tiu.ru"
            }
        ]
    }
]

tips

För att alternativen "Prepend text" och "Append text" ska vara tillgängliga i Task Editor, måste du aktivera "More options".

Utmatning av lista med sökfraser

Resultatformat:

$key_phrases.format('$req, $base_freq, $va_freq, $pos\n')

Exempel på resultat:

a parser, 2870, 332, 1
a parser ladda ner torrent, 183, 181, 1
aparser, 435, 118, 1
a parser torrent, 285, 103, 1
a parser, 423, 101, 1
a parser com, 221, 87, 1
scraper för google-resultat, 66, 61, 1
massiv positionskontroll a parser, 53, 52, 1

Utmatning av lista med sökfraser i CSV

Resultatformat:

[% FOREACH key_phrases;
  tools.CSVline(req, base_freq, va_freq, pos);
END %]

Exempel på resultat:

"avito",59415062,9034027,1
"avito moskva",1782404,451582,1
"avito sankt petersburg",634665,343183,1
avito,1207134,307012,1
"avito voronezj",629468,286035,1

Dumpning av lista med sökfraser till JSON

Allmänt resultatformat:

[% IF notFirst;
  ",\n";
ELSE;
  notFirst = 1;
END;

obj = {};
obj.query = query;
obj.phrases = [];

FOREACH item IN p1.key_phrases;
    obj.phrases.push({
        req = item.req
        base_freq = item.base_freq
        va_freq = item.va_freq
        pos = item.pos
    });
END;

obj.json %]

Starttext:

Sluttext:

Exempel på resultat:

[
    {
        "query": "avito.ru",
        "phrases": [
            {
                "base_freq": "59415062",
                "req": "avito",
                "va_freq": "9034027",
                "pos": "1"
            },
            {
                "base_freq": "1782404",
                "req": "avito moskva",
                "va_freq": "451582",
                "pos": "1"
            },
            {
                "base_freq": "634665",
                "req": "avito sankt petersburg",
                "va_freq": "343183",
                "pos": "1"
            }
        ]
    }
]

tips

För att alternativen "Prepend text" och "Append text" ska vara tillgängliga i Task Editor, måste du aktivera "More options".

Utmatning av sidor i det organiska sökresultatet

Resultatformat:

$organic_pages.format('$pages, $keys\n')

Exempel på resultat:

http://a-parser.com/, 315
http://a-parser.com/wiki/parsers/, 115
http://a-parser.com/a-parser-for-e-commerce/, 56
http://a-parser.com/wiki/js-parsers/, 44
http://a-parser.com/wiki/html-emailextractor/, 40
http://a-parser.com/resources/21/, 39
http://a-parser.com/threads/1809/, 35
http://a-parser.com/threads/4253/, 32

Utmatning av sidor i det organiska sökresultatet i CSV

Resultatformat:

[% FOREACH organic_page;
    tools.CSVline(pages, keys);
END %]

Exempel på resultat:

http://a-parser.com/, 315
http://a-parser.com/wiki/parsers/, 115
http://a-parser.com/a-parser-for-e-commerce/, 56
http://a-parser.com/wiki/js-parsers/, 44
http://a-parser.com/wiki/html-emailextractor/, 40
http://a-parser.com/resources/21/, 39
http://a-parser.com/threads/1809/, 35
http://a-parser.com/threads/4253/, 32

Dumpning av sidor i det organiska sökresultatet till JSON

Allmänt resultatformat:

[% IF notFirst;
  ",\n";
ELSE;
  notFirst = 1;
END;

obj = {};
obj.query = query;
obj.organic = [];

FOREACH item IN p1.organic_pages;
    obj.organic.push({
        pages = item.pages
        keys = item.keys
    });
END;

obj.json %]

Starttext:

Sluttext:

Exempel på resultat:

[
    {
        "query": "avito.ru",
        "organic": [
            {
                "keys": "4652",
                "pages": "http://avito.ru/"
            },
            {
                "keys": "4563",
                "pages": "http://avito.ru/moskva/avtomobili"
            },
            {
                "keys": "4484",
                "pages": "http://avito.ru/moskva/kvartiry/sdam-ASgBAgICAUSSA8gQ"
            }
        ]
    }
]

tips

För att alternativen "Prepend text" och "Append text" ska vara tillgängliga i Task Editor, måste du aktivera "More options".

Utmatning av annonser i kontext

Resultatformat:

$ads_context.format('$aheader, $atext, $acount\n')

Exempel på resultat:

Reparation av PC och bärbara datorer i Moskva, på plats! Sedan 2015 på Avito – Bronsstatus. Mottagning av ansökningar 24/7! · Datorer & Bärbara datorer. Surfplattor & Smartphones. Routrar & WI - FI, 38658
Boka rum på Avito. På resan tillsammans med Avito, Hotell - många erbjudanden speciellt för dig. Nu på Avito., 20122
Hitta jobb i staden Moskva. På Avito Jobb, Nya lediga tjänster i staden Moskva. Avito - annonstjänst nr 1 i Ryssland!, 20110

Utmatning av annonser i kontext i CSV

Resultatformat:

[% FOREACH ads_context;
  tools.CSVline(aheader, atext, acount);
END %]

Exempel på resultat:

Reparation av PC och bärbara datorer i Moskva","på plats! Sedan 2015 på Avito – Bronsstatus. Mottagning av ansökningar 24/7! · Datorer & Bärbara datorer. Surfplattor & Smartphones. Routrar & WI - FI",38658
"Boka rum på Avito. På resan tillsammans med Avito","Hotell - många erbjudanden speciellt för dig. Nu på Avito.",20122
"Hitta jobb i staden Moskva. På Avito Jobb","Nya lediga tjänster i staden Moskva. Avito - annonstjänst №1 i Ryssland!",20110
"Hundar på Avito. Köp eller adoptera gratis.","Hundratusentals annonser. Gör lönsamma affärer i hela Ryssland med hjälp av Avito!",17306

Dumpning av annonser i kontext till JSON

Allmänt resultatformat:

[% IF notFirst;
  ",\n";
ELSE;
  notFirst = 1;
END;

obj = {};
obj.query = query;
obj.ads = [];

FOREACH item IN p1.ads_context;
    obj.ads.push({
        header = item.aheader
        text = item.atext
        count = item.acount
    });
END;

obj.json %]

Starttext:

Sluttext:

Exempel på resultat:

[
    {
        "ads": [
            {
                "count": "38658",
                "text": "på plats! Sedan 2015 på Avito – Bronsstatus. Mottagning av ansökningar 24/7! · Datorer & Bärbara datorer. Surfplattor & Smartphones. Routrar & WI - FI",
                "header": "Reparation av PC och bärbara datorer i Moskva"
            },
            {
                "count": "20122",
                "text": "Hotell - många erbjudanden speciellt för dig. Nu på Avito.",
                "header": "Boka rum på Avito. På resan tillsammans med Avito"
            },
            {
                "count": "20110",
                "text": "Nya lediga tjänster i staden Moskva. Avito - annonstjänst №1 i Ryssland!",
                "header": "Hitta jobb i staden Moskva. På Avito Jobb"
            }
        ],
        "query": "avito.ru"
    }
]

tips

För att alternativen "Prepend text" och "Append text" ska vara tillgängliga i Task Editor, måste du aktivera "More options".

Utmatning av konkurrenter i kontext

Resultatformat:

$comp_context.format('$link, $common, $req, $ads\n')

Exempel på resultat:

http://uslugi.yandex.ru, 340399, 11188812, 30632
http://superjob.ru, 180179, 885168, 19065
http://mvideo.ru, 174070, 2840150, 344731
http://pleer.ru, 166815, 2577993, 238284
http://ru.jobsora.com, 124103, 596184, 99781
http://citilink.ru, 114529, 1903350, 94937
http://goods.ru, 113373, 2684645, 328750
http://pokupki.market.yandex.ru, 81527, 2657498, 326255

Utmatning av konkurrenter i kontext i CSV

Resultatformat:

[% FOREACH comp_context; 
    tools.CSVline(link, common, req, ads);
END %]

Exempel på resultat:

http://uslugi.yandex.ru, 340399, 11188812, 30632
http://superjob.ru, 180179, 885168, 19065
http://mvideo.ru, 174070, 2840150, 344731
http://pleer.ru, 166815, 2577993, 238284
http://ru.jobsora.com, 124103, 596184, 99781
http://citilink.ru, 114529, 1903350, 94937
http://goods.ru, 113373, 2684645, 328750
http://pokupki.market.yandex.ru, 81527, 2657498, 326255

Dumpning av konkurrenter i kontext till JSON

Allmänt resultatformat:

[% IF notFirst;
  ",\n";
ELSE;
  notFirst = 1;
END;

obj = {};
obj.query = query;
obj.competitors = [];

FOREACH item IN p1.comp_context;
    obj.competitors.push({
        link = item.link
        common = item.common
        req = item.req
        ads = item.ads
    });
END;

obj.json %]

Starttext:

Sluttext:

Exempel på resultat:

[
    {
        "query": "avito.ru",
        "competitors": [
            {
                "ads": "30632",
                "link": "http://uslugi.yandex.ru",
                "req": "11188812",
                "common": "340399"
            },
            {
                "ads": "19065",
                "link": "http://superjob.ru",
                "req": "885168",
                "common": "180179"
            },
            {
                "ads": "344731",
                "link": "http://mvideo.ru",
                "req": "2840150",
                "common": "174070"
            },
            
        ]
    }
]

tips

För att alternativen "Prepend text" och "Append text" ska vara tillgängliga i Task Editor, måste du aktivera "More options".

Utmatning av webbplatsens frågor i kontext

Resultatformat:

$wreq_context.format('$request, $freq, $va_freq, $pos, $placement, $price\n')

Exempel på resultat:

jobb i tjeljabinsk, 202530, 40163, 3, Spec., 4
algebra klass 8 dorofejev, 217307, 18467, 2, Gar., 2
far cry 3, 113266, 23218, 5, Gar., 3
jobb i barnaul, 128775, 26402, 3, Spec., 4
harry potter och hemligheternas kammare film 2002, 36482, 30450, 2, Gar., 5
mazda 6, 554463, 25248, 6, Gar., 19
assassin s creed, 535915, 29419, 5, Gar., 5
avito rjazan, 325994, 137938, 3, Gar., 13

Utmatning av webbplatsens frågor i kontext i CSV

Resultatformat:

[% FOREACH wreq_context;
    tools.CSVline(request, freq, va_freq, pos, placement, price);
END %]

Exempel på resultat:

"jobb i tjeljabinsk",202530,40163,3,"Spec.",4
"algebra klass 8 dorofejev",217307,18467,2,"Gar.",2
"far cry 3",113266,23218,5,"Gar.",3
"jobb i barnaul",128775,26402,3,"Spec.",4
"harry potter och hemligheternas kammare film 2002",36482,30450,2,"Gar.",5
"mazda 6",554463,25248,6,"Gar.",19
"assassin s creed",535915,29419,5,"Gar.",5
"avito rjazan",325994,137938,3,"Gar.",13
"avito rjazan oblast",72077,19586,2,"Gar.",20

Dumpning av webbplatsens frågor i kontext till JSON

Allmänt resultatformat:

[% IF notFirst;
  ",\n";
ELSE;
  notFirst = 1;
END;

obj = {};
obj.query = query;
obj.wreq = [];

FOREACH item IN p1.wreq_context;
    obj.wreq.push({
        request = item.request
        freq = item.freq
        va_freq = item.va_freq
        pos = item.pos
        placement = item.placement
        price = item.price
    });
END;

obj.json %]

Starttext:

Sluttext:

Exempel på resultat:

[
    {
        "query": "avito.ru",
        "wreq": [
            {
                "request": "jobb i tjeljabinsk",
                "placement": "Spec.",
                "freq": "202530",
                "va_freq": "40163",
                "price": "4",
                "pos": "3"
            },
            {
                "request": "algebra klass 8 dorofejev",
                "placement": "Gar.",
                "freq": "217307",
                "va_freq": "18467",
                "price": "2",
                "pos": "2"
            },
            {
                "request": "far cry 3",
                "placement": "Gar.",
                "freq": "113266",
                "va_freq": "23218",
                "price": "3",
                "pos": "5"
            }
        ]
    }
]

tips

För att alternativen "Prepend text" och "Append text" ska vara tillgängliga i Task Editor, måste du aktivera "More options".

Möjliga inställningar

anteckning

Allmänna inställningar för alla scrapers

Parameter	Standardvärde	Beskrivning
Search DB	`Yandex Moscow`	Val av sökdatabas
Cookie "userlogin="		I detta fält måste du ange värdet för cookien `userlogin`, hämtad från webbläsaren efter auktorisering

Översikt av scrapern​

Data som samlas in​

Funktioner​

Användningsfall​

Frågor​

Alternativ för resultatutmatning​

Standardutmatning​

Utmatning av konkurrentlista​

Utmatning av konkurrentlista i CSV​

Dumpning av konkurrentlista till JSON​

Utmatning av lista med sökfraser​

Utmatning av lista med sökfraser i CSV​

Dumpning av lista med sökfraser till JSON​

Utmatning av sidor i det organiska sökresultatet​

Utmatning av sidor i det organiska sökresultatet i CSV​

Dumpning av sidor i det organiska sökresultatet till JSON​

Utmatning av annonser i kontext​

Utmatning av annonser i kontext i CSV​

Dumpning av annonser i kontext till JSON​

Utmatning av konkurrenter i kontext​

Utmatning av konkurrenter i kontext i CSV​

Dumpning av konkurrenter i kontext till JSON​

Utmatning av webbplatsens frågor i kontext​

Utmatning av webbplatsens frågor i kontext i CSV​

Dumpning av webbplatsens frågor i kontext till JSON​

Möjliga inställningar​

Översikt av scrapern

Data som samlas in

Funktioner

Användningsfall

Frågor

Alternativ för resultatutmatning

Standardutmatning

Utmatning av konkurrentlista

Utmatning av konkurrentlista i CSV

Dumpning av konkurrentlista till JSON

Utmatning av lista med sökfraser

Utmatning av lista med sökfraser i CSV

Dumpning av lista med sökfraser till JSON

Utmatning av sidor i det organiska sökresultatet

Utmatning av sidor i det organiska sökresultatet i CSV

Dumpning av sidor i det organiska sökresultatet till JSON

Utmatning av annonser i kontext

Utmatning av annonser i kontext i CSV

Dumpning av annonser i kontext till JSON

Utmatning av konkurrenter i kontext

Utmatning av konkurrenter i kontext i CSV

Dumpning av konkurrenter i kontext till JSON

Utmatning av webbplatsens frågor i kontext

Utmatning av webbplatsens frågor i kontext i CSV

Dumpning av webbplatsens frågor i kontext till JSON

Möjliga inställningar