Rank::KeysSo - Scraper keys.so
Przegląd scrapera
Keys.so to narzędzie do analizy konkurencji. Serwis pozwala zorientować się w liście konkurentów Twojej witryny, zobaczyć, na jakie zapytania rankują w wyszukiwarce oraz na jakie frazy wyświetlane są ich reklamy. Dostępna jest największa w rosyjskojęzycznym internecie baza zapytań, zawierająca ponad 80 milionów słów kluczowych.
Funkcjonalność A-Parser pozwala zapisywać ustawienia scrapowania do późniejszego wykorzystania (presety), ustawiać harmonogram scrapowania i wiele więcej. Możesz korzystać z automatycznego powielania zapytań, podstawiania podzapytań z plików, generowania kombinacji alfanumerycznych oraz list w celu uzyskania maksymalnej możliwej liczby wyników.
Zapisywanie wyników jest możliwe w dowolnej formie i strukturze, której potrzebujesz, dzięki wbudowanemu potężnemu silnikowi szablonów Template Toolkit, który pozwala stosować dodatkową logikę do wyników i wyprowadzać dane w różnych formatach, w tym JSON, SQL i CSV.
Gromadzone dane
- Ranking według widoczności w Runecie
- Ranking według zasięgu słów kluczowych
- Liczba stron w TOP-50
- Ruch z wyszukiwarki (Szacunkowa liczba użytkowników z organicznych wyników wyszukiwania na dobę)
- Liczba stron w indeksie
- Ruch na stronę
- Liczba zapytań na stronę
- Ocena efektywności (Procent słów kluczowych z TOP-50 zajmujących pozycje w TOP-5)
- Liczba witryn właściciela domeny w Adsense, Analytics, Leadia i Relap.io
- Liczba subdomen właściciela domeny
- Liczba zapytań w top-1, top-3, top-5, top-10, top-50
- Strony w wynikach organicznych (pobiera link do strony i liczbę słów kluczowych)
- Lista konkurentów (link do domeny, liczba wspólnych słów kluczowych, stopień podobieństwa domeny, ruch z Yandex)
- Frazy kluczowe (zapytanie, częstotliwość, pozycja)
Dla witryn z reklamami kontekstowymi:
- Ruch z reklam (Szacunkowy ruch z reklam bez uwzględnienia targetowania. Iloczyn dokładnej częstotliwości i prognozowanego CTR, podzielony przez 30 dni)
- Ocena budżetu (Szacunkowy budżet bez uwzględnienia targetowania. Iloczyn dokładnej częstotliwości, prognozowanego CTR i kosztu kliknięcia)
- Liczba ogłoszeń w sieci reklamowej
- Liczba zapytań w sieci reklamowej
- Liczba zapytań na ogłoszenie
- Ogłoszenia w sieci reklamowej (Ogłoszenie i liczba zapytań)
- Konkurenci w sieci reklamowej (Domena, liczba wspólnych zapytań, całkowita liczba zapytań, liczba ogłoszeń)
- Zapytania witryny w sieci reklamowej (Zapytanie, częstotliwość, pozycja, rozmieszczenie, cena kliknięcia)
Możliwości
- Wybór regionu wyników dla Google i Yandex
- Scrapowanie z autoryzacją (poprzez podstawienie plików cookie)
Warianty użycia
- Pobieranie rankingu według widoczności w Runecie, według zasięgu słów kluczowych
- Pobieranie wielkości ruchu na stronę
- Pobieranie liczby zapytań w top-1, top-3, top-5, top-10, top-50
- Wyszukiwanie konkurentów witryny
- Pobieranie listy zapytań, na które witryna rankuje w wyszukiwarce
- Pobieranie ogłoszeń reklamowych witryny
- Pobieranie konkurentów w sieci reklamowej
- Zbieranie danych dla regionalnych wyników wyszukiwania Google i Yandex
Zapytania
Jako zapytania należy podawać domenę, na przykład:
a-parser.com
Warianty wyprowadzania wyników
A-Parser obsługuje elastyczne formatowanie wyników dzięki wbudowanemu silnikowi szablonów Template Toolkit, co pozwala mu wyprowadzać wyniki w dowolnej formie, a także w formie strukturalnej, np. CSV lub JSON
Wynik domyślny
Format wyniku:
Query - $query, By vision in runet - $by_vis, By keys - $by_keys, Requests in top 50 - $in_top50, Search traf - $search_traff\n
Przykład wyniku:
Query - a-parser.com, By vision in runet - 104606, By keys - 197798, Requests in top 50 - 1540, Search traf - 57
Wyprowadzanie listy konkurentów
Format wyniku:
$comp_keys.format('$links, $total_keys, $similarity, $traff_y\n')
Przykład wyniku:
http://youtube.com, 1360, 0.00, 8286326
http://habr.com, 1174, 0.04, 116283
http://vc.ru, 1172, 0.06, 40749
http://zen.yandex.ru, 923, 0.00, 5944772
http://spark.ru, 870, 0.33, 2062
http://zennolab.com, 828, 2.78, 216
http://web-data-extractor.net, 819, 35.11, 53
Wyprowadzanie listy konkurentów do CSV
Format wyniku:
[% FOREACH comp_keys;
tools.CSVline(links, total_keys, similarity, traff_y);
END %]
Przykład wyniku:
http://vk.com,5316893,12.18,8682202
http://youla.ru,5222139,84.47,231703
http://moskva.tiu.ru,4812708,59.84,323103
http://youtube.com,4543041,8.27,8286326
http://moskva.regmarkets.ru,4106292,61.62,13983
http://ozon.ru,3783344,46.81,580266
Zrzut listy konkurentów do JSON
Ogólny format wyniku:
[% IF notFirst;
",\n";
ELSE;
notFirst = 1;
END;
obj = {};
obj.query = query;
obj.competitors = [];
FOREACH item IN p1.comp_keys;
obj.competitors.push({
links = item.links
total_keys = item.total_keys
similarity = item.similarity
traff_y = item.traff_y
});
END;
obj.json %]
Tekst początkowy:
[
Tekst końcowy:
]
Przykład wyniku:
[
{
"query": "avito.ru",
"competitors": [
{
"traffic": "8682202",
"similarity": "12.18",
"total_keys": "5316893",
"links": "http://vk.com"
},
{
"traffic": "231703",
"similarity": "84.47",
"total_keys": "5222139",
"links": "http://youla.ru"
},
{
"traffic": "323103",
"similarity": "59.84",
"total_keys": "4812708",
"links": "http://moskva.tiu.ru"
}
]
}
]
wskazówka
Aby opcje "Prepend text" i "Append text" były dostępne w Edytorze zadań, należy aktywować "More options".
Wyprowadzanie listy fraz kluczowych
Format wyniku:
$key_phrases.format('$req, $base_freq, $va_freq, $pos\n')
Przykład wyniku:
a parser, 2870, 332, 1
a parser pobierz torrent, 183, 181, 1
aparser, 435, 118, 1
a parser torrent, 285, 103, 1
a parser, 423, 101, 1
a parser com, 221, 87, 1
scraper wyników google, 66, 61, 1
masowy checker pozycji a parser, 53, 52, 1
Wyprowadzanie listy fraz kluczowych do CSV
Format wyniku:
[% FOREACH key_phrases;
tools.CSVline(req, base_freq, va_freq, pos);
END %]
Przykład wyniku:
"avito",59415062,9034027,1
"avito moskwa",1782404,451582,1
"avito sankt petersburg",634665,343183,1
avito,1207134,307012,1
"avito woroneż",629468,286035,1
Zrzut listy fraz kluczowych do JSON
Ogólny format wyniku:
[% IF notFirst;
",\n";
ELSE;
notFirst = 1;
END;
obj = {};
obj.query = query;
obj.phrases = [];
FOREACH item IN p1.key_phrases;
obj.phrases.push({
req = item.req
base_freq = item.base_freq
va_freq = item.va_freq
pos = item.pos
});
END;
obj.json %]
Tekst początkowy:
[
Tekst końcowy:
]
Przykład wyniku:
[
{
"query": "avito.ru",
"phrases": [
{
"base_freq": "59415062",
"req": "avito",
"va_freq": "9034027",
"pos": "1"
},
{
"base_freq": "1782404",
"req": "avito moskwa",
"va_freq": "451582",
"pos": "1"
},
{
"base_freq": "634665",
"req": "avito sankt petersburg",
"va_freq": "343183",
"pos": "1"
}
]
}
]
wskazówka
Aby opcje "Prepend text" i "Append text" były dostępne w Edytorze zadań, należy aktywować "More options".
Wyprowadzanie stron z wyników organicznych
Format wyniku:
$organic_pages.format('$pages, $keys\n')
Przykład wyniku:
http://a-parser.com/, 315
http://a-parser.com/wiki/parsers/, 115
http://a-parser.com/a-parser-for-e-commerce/, 56
http://a-parser.com/wiki/js-parsers/, 44
http://a-parser.com/wiki/html-emailextractor/, 40
http://a-parser.com/resources/21/, 39
http://a-parser.com/threads/1809/, 35
http://a-parser.com/threads/4253/, 32
Wyprowadzanie stron z wyników organicznych do CSV
Format wyniku:
[% FOREACH organic_page;
tools.CSVline(pages, keys);
END %]
Przykład wyniku:
http://a-parser.com/, 315
http://a-parser.com/wiki/parsers/, 115
http://a-parser.com/a-parser-for-e-commerce/, 56
http://a-parser.com/wiki/js-parsers/, 44
http://a-parser.com/wiki/html-emailextractor/, 40
http://a-parser.com/resources/21/, 39
http://a-parser.com/threads/1809/, 35
http://a-parser.com/threads/4253/, 32
Zrzut stron z wyników organicznych do JSON
Ogólny format wyniku:
[% IF notFirst;
",\n";
ELSE;
notFirst = 1;
END;
obj = {};
obj.query = query;
obj.organic = [];
FOREACH item IN p1.organic_pages;
obj.organic.push({
pages = item.pages
keys = item.keys
});
END;
obj.json %]
Tekst początkowy:
[
Tekst końcowy:
]
Przykład wyniku:
[
{
"query": "avito.ru",
"organic": [
{
"keys": "4652",
"pages": "http://avito.ru/"
},
{
"keys": "4563",
"pages": "http://avito.ru/moskva/avtomobili"
},
{
"keys": "4484",
"pages": "http://avito.ru/moskva/kvartiry/sdam-ASgBAgICAUSSA8gQ"
}
]
}
]
wskazówka
Aby opcje "Prepend text" i "Append text" były dostępne w Edytorze zadań, należy aktywować "More options".
Wyprowadzanie ogłoszeń w sieci reklamowej
Format wyniku:
$ads_context.format('$aheader, $atext, $acount\n')
Przykład wynik:
Naprawa PC i laptopów w Moskwie, z dojazdem! Od 2015 roku na Avito – Status brązowy. Przyjmowanie zgłoszeń 24/7! · Komputery & Laptopy. Tablety & Smartfony. Routery & WI - FI, 38658
Zarezerwuj pokój na Avito. W podróż razem z Avito, Hotele i pensjonaty - mnóstwo ofert specjalnie dla Ciebie. Teraz na Avito., 20122
Znajdź pracę w mieście Moskwa. Na Avito Praca, Świeże oferty pracy w mieście Moskwa. Avito - serwis ogłoszeniowy nr 1 w Rosji!, 20110
Wyprowadzanie ogłoszeń w sieci reklamowej do CSV
Format wyniku:
[% FOREACH ads_context;
tools.CSVline(aheader, atext, acount);
END %]
Przykład wynik:
Naprawa PC i laptopów w Moskwie","z dojazdem! Od 2015 roku na Avito – Status brązowy. Przyjmowanie zgłoszeń 24/7! · Komputery & Laptopy. Tablety & Smartfony. Routery & WI - FI",38658
"Zarezerwuj pokój na Avito. W podróż razem z Avito","Hotele i pensjonaty - mnóstwo ofert specjalnie dla Ciebie. Teraz na Avito.",20122
"Znajdź pracę w mieście Moskwa. Na Avito Praca","Świeże oferty pracy w mieście Moskwa. Avito - serwis ogłoszeniowy №1 w Rosji!",20110
"Psy na Avito. Kup lub adoptuj za darmo.","Setki tysięcy ogłoszeń. Zawieraj korzystne transakcje w całej Rosji z pomocą Avito!",17306
Zrzut ogłoszeń w sieci reklamowej do JSON
Ogólny format wyniku:
[% IF notFirst;
",\n";
ELSE;
notFirst = 1;
END;
obj = {};
obj.query = query;
obj.ads = [];
FOREACH item IN p1.ads_context;
obj.ads.push({
header = item.aheader
text = item.atext
count = item.acount
});
END;
obj.json %]
Tekst początkowy:
[
Tekst końcowy:
]
Przykład wyniku:
[
{
"ads": [
{
"count": "38658",
"text": "z dojazdem! Od 2015 roku na Avito – Status brązowy. Przyjmowanie zgłoszeń 24/7! · Komputery & Laptopy. Tablety & Smartfony. Routery & WI - FI",
"header": "Naprawa PC i laptopów w Moskwie"
},
{
"count": "20122",
"text": "Hotele i pensjonaty - mnóstwo ofert specjalnie dla Ciebie. Teraz na Avito.",
"header": "Zarezerwuj pokój na Avito. W podróż razem z Avito"
},
{
"count": "20110",
"text": "Świeże oferty pracy w mieście Moskwa. Avito - serwis ogłoszeniowy №1 w Rosji!",
"header": "Znajdź pracę w mieście Moskwa. Na Avito Praca"
}
],
"query": "avito.ru"
}
]
wskazówka
Aby opcje "Prepend text" i "Append text" były dostępne w Edytorze zadań, należy aktywować "More options".
Wyprowadzanie konkurentów w sieci reklamowej
Format wyniku:
$comp_context.format('$link, $common, $req, $ads\n')
Przykład wyniku:
http://uslugi.yandex.ru, 340399, 11188812, 30632
http://superjob.ru, 180179, 885168, 19065
http://mvideo.ru, 174070, 2840150, 344731
http://pleer.ru, 166815, 2577993, 238284
http://ru.jobsora.com, 124103, 596184, 99781
http://citilink.ru, 114529, 1903350, 94937
http://goods.ru, 113373, 2684645, 328750
http://pokupki.market.yandex.ru, 81527, 2657498, 326255
Wyprowadzanie konkurentów w sieci reklamowej do CSV
Format wyniku:
[% FOREACH comp_context;
tools.CSVline(link, common, req, ads);
END %]
Przykład wyniku:
http://uslugi.yandex.ru, 340399, 11188812, 30632
http://superjob.ru, 180179, 885168, 19065
http://mvideo.ru, 174070, 2840150, 344731
http://pleer.ru, 166815, 2577993, 238284
http://ru.jobsora.com, 124103, 596184, 99781
http://citilink.ru, 114529, 1903350, 94937
http://goods.ru, 113373, 2684645, 328750
http://pokupki.market.yandex.ru, 81527, 2657498, 326255
Zrzut konkurentów w sieci reklamowej do JSON
Ogólny format wyniku:
[% IF notFirst;
",\n";
ELSE;
notFirst = 1;
END;
obj = {};
obj.query = query;
obj.competitors = [];
FOREACH item IN p1.comp_context;
obj.competitors.push({
link = item.link
common = item.common
req = item.req
ads = item.ads
});
END;
obj.json %]
Tekst początkowy:
[
Tekst końcowy:
]
Przykład wyniku:
[
{
"query": "avito.ru",
"competitors": [
{
"ads": "30632",
"link": "http://uslugi.yandex.ru",
"req": "11188812",
"common": "340399"
},
{
"ads": "19065",
"link": "http://superjob.ru",
"req": "885168",
"common": "180179"
},
{
"ads": "344731",
"link": "http://mvideo.ru",
"req": "2840150",
"common": "174070"
},
]
}
]
wskazówka
Aby opcje "Prepend text" i "Append text" były dostępne w Edytorze zadań, należy aktywować "More options".
Wyprowadzanie zapytań witryny w sieci reklamowej
Format wyniku:
$wreq_context.format('$request, $freq, $va_freq, $pos, $placement, $price\n')
Przykład wyniku:
praca w czelabińsku, 202530, 40163, 3, Spec., 4
algebra 8 klasa dorofiejew, 217307, 18467, 2, Gar., 2
far cry 3, 113266, 23218, 5, Gar., 3
praca w barnaule, 128775, 26402, 3, Spec., 4
harry potter i komnata tajemnic film 2002, 36482, 30450, 2, Gar., 5
mazda 6, 554463, 25248, 6, Gar., 19
assassin s creed, 535915, 29419, 5, Gar., 5
avito riazań, 325994, 137938, 3, Gar., 13
Wyprowadzanie zapytań witryny w sieci reklamowej do CSV
Format wyniku:
[% FOREACH wreq_context;
tools.CSVline(request, freq, va_freq, pos, placement, price);
END %]
Przykład wyniku:
"praca w czelabińsku",202530,40163,3,"Spec.",4
"algebra 8 klasa dorofiejew",217307,18467,2,"Gar.",2
"far cry 3",113266,23218,5,"Gar.",3
"praca w barnaule",128775,26402,3,"Spec.",4
"harry potter i komnata tajemnic film 2002",36482,30450,2,"Gar.",5
"mazda 6",554463,25248,6,"Gar.",19
"assassin s creed",535915,29419,5,"Gar.",5
"avito riazań",325994,137938,3,"Gar.",13
"avito obwód riazański",72077,19586,2,"Gar.",20
Zrzut zapytań witryny w sieci reklamowej do JSON
Ogólny format wyniku:
[% IF notFirst;
",\n";
ELSE;
notFirst = 1;
END;
obj = {};
obj.query = query;
obj.wreq = [];
FOREACH item IN p1.wreq_context;
obj.wreq.push({
request = item.request
freq = item.freq
va_freq = item.va_freq
pos = item.pos
placement = item.placement
price = item.price
});
END;
obj.json %]
Tekst początkowy:
[
Tekst końcowy:
]
Przykład wyniku:
[
{
"query": "avito.ru",
"wreq": [
{
"request": "praca w czelabińsku",
"placement": "Spec.",
"freq": "202530",
"va_freq": "40163",
"price": "4",
"pos": "3"
},
{
"request": "algebra 8 klasa dorofiejew",
"placement": "Gar.",
"freq": "217307",
"va_freq": "18467",
"price": "2",
"pos": "2"
},
{
"request": "far cry 3",
"placement": "Gar.",
"freq": "113266",
"va_freq": "23218",
"price": "3",
"pos": "5"
}
]
}
]
wskazówka
Aby opcje "Prepend text" i "Append text" były dostępne w Edytorze zadań, należy aktywować "More options".
Możliwe ustawienia
| Parametr | Wartość domyślna | Opis |
|---|---|---|
| Search DB | Yandex Moscow | Wybór bazy wyszukiwania |
| Cookie "userlogin=" | W tym polu należy podać wartość pliku cookie userlogin, pobraną z przeglądarki po autoryzacji |