Перейти к основному содержимому

Rank::KeysSo - Парсер keys.so

img

Обзор парсера

Keys.so — это инструмент конкурентной разведки. Сервис позволяет сориентироваться со списком конкурентов своего сайта, увидеть, по каким запросам они ранжируются в поиске, по каким запросам отображаются их объявления. Доступна самая крупная в рунете база запросов, более 80 миллионов ключевых слов.

Функционал A-Parser позволяет сохранять настройки парсинга для дальнейшего использования (пресеты), задавать расписание парсинга и многое другое. Вы можете использовать автоматическое размножение запросов, подстановку подзапросов из файлов, перебор цифро-буквенных комбинаций и списков для получения максимально возможного количества результатов.

Сохранение результатов возможно в том виде и структуре которая вам необходима, благодаря встроенному мощному шаблонизатору Template Toolkit который позволяет применять дополнительную логику к результатам и выводить данные в различных форматах, включая JSON, SQL и CSV.

Собираемые данные

  • Рейтинг по видимости в рунете
  • Рейтинг по охвату ключей
  • Количество страниц в ТОП-50
  • Трафик с поиска (Ориентировочное количество пользователей из органического поиска в сутки)
  • Количество страниц в выдаче
  • Трафик на страницу
  • Количество запросов на страницу
  • Оценка результативности (Процент ключей из ТОП50, занимающий позиции в ТОП5)
  • Количество сайтов у владельца домена в Adsense, Analytics, Leadia и Relap.io
  • Количество поддоменов у владельца домена
  • Количество запросов в топ-1, в топ-3, в топ-5, в топ-10, в топ-50
  • Страницы в органической выдаче (получает ссылку на страницу и количество ключей)
  • Список конкурентов (ссылка на домен, количество общих ключей, степень похожести домена, трафик Yandex)
  • Ключевые фразы (запрос, частотность, позиция)

Для сайтов с контекстной рекламой:

  • Трафик контекст (Оценка трафика из контекста без учета каких-либо таргетингов. Произведение точной частотности, на прогноз CTR, разделенное на 30 дней)
  • Оценка бюджета (Оценка бюджета без учета каких-либо таргетингов. Произведение точной частотности, на прогноз CTR, на стоимость клика)
  • Количество объявлений в контексте
  • Количество запросов в контексте
  • Количество запросов на объявление
  • Объявления в контексте (Объявление и количество запросов)
  • Конкуренты в контексте (Домен, количество общих запросов, запросов всего, количество объявлений)
  • Запросы сайта в контексте (Запрос, частотность, позиция, размещение, цена клика)

Возможности

  • Выбор региона выдачи для Google и Яндекс
  • Парсинг с авторизацией (через подстановку кук)

Варианты использования

  • Получение рейтинга по видимости в рунете, по охвату ключей
  • Получение кол-ва трафика на страницу
  • Получение кол-ва запросов в топ-1, в топ-3, в топ-5, в топ-10, в топ-50
  • Поиск конкурентов сайта
  • Получение списка запросов, по которым сайт ранжируется в поиске
  • Получение объявлений контекстной рекламы сайта
  • Получение конкурентов в контексте
  • Сбор данных по региональной выдаче для Google и Яндекс

Запросы

В качестве запросов необходимо указывать домен, например:

a-parser.com

Варианты вывода результатов

A-Parser поддерживает гибкое форматирование результатов благодаря встроенному шаблонизатору Template Toolkit, что позволяет ему выводить результаты в произвольной форме, а также в структуированной, например CSV или JSON

Вывод по умолчанию

Формат результата:

Query - $query, By vision in runet - $by_vis, By keys - $by_keys, Requests in top 50 - $in_top50,  Search traf - $search_traff\n

Пример результата:

Query - a-parser.com, By vision in runet - 104606, By keys - 197798, Requests in top 50 - 1540,  Search traf - 57

Вывод списка конкурентов

Формат результата:

$comp_keys.format('$links, $total_keys, $similarity, $traff_y\n')

Пример результата:

http://youtube.com, 1360, 0.00, 8286326
http://habr.com, 1174, 0.04, 116283
http://vc.ru, 1172, 0.06, 40749
http://zen.yandex.ru, 923, 0.00, 5944772
http://spark.ru, 870, 0.33, 2062
http://zennolab.com, 828, 2.78, 216
http://web-data-extractor.net, 819, 35.11, 53

Вывод списка конкурентов в CSV

Формат результата:

[% FOREACH comp_keys;
tools.CSVline(links, total_keys, similarity, traff_y);
END %]

Пример результата:

http://vk.com,5316893,12.18,8682202
http://youla.ru,5222139,84.47,231703
http://moskva.tiu.ru,4812708,59.84,323103
http://youtube.com,4543041,8.27,8286326
http://moskva.regmarkets.ru,4106292,61.62,13983
http://ozon.ru,3783344,46.81,580266

Дамп списка конкурентов в JSON

Общий формат результата:

[% IF notFirst;
",\n";
ELSE;
notFirst = 1;
END;

obj = {};
obj.query = query;
obj.competitors = [];

FOREACH item IN p1.comp_keys;
obj.competitors.push({
links = item.links
total_keys = item.total_keys
similarity = item.similarity
traff_y = item.traff_y
});
END;

obj.json %]

Начальный текст:

[

Конечный текст:

]

Пример результата:

[
{
"query": "avito.ru",
"competitors": [
{
"traffic": "8682202",
"similarity": "12.18",
"total_keys": "5316893",
"links": "http://vk.com"
},
{
"traffic": "231703",
"similarity": "84.47",
"total_keys": "5222139",
"links": "http://youla.ru"
},
{
"traffic": "323103",
"similarity": "59.84",
"total_keys": "4812708",
"links": "http://moskva.tiu.ru"
}
]
}
]
подсказка

Чтобы опции "Начальный текст" и "Конечный текст" были доступны в Редакторе заданий, нужно активировать "Больше опций".

Вывод списка ключевых фраз

Формат результата:

$key_phrases.format('$req, $base_freq, $va_freq, $pos\n')

Пример результата:

a parser, 2870, 332, 1
a parser скачать торрент, 183, 181, 1
aparser, 435, 118, 1
a parser торрент, 285, 103, 1
а парсер, 423, 101, 1
a parser com, 221, 87, 1
парсер выдачи google, 66, 61, 1
массовый чекер позиций a parser, 53, 52, 1

Вывод списка ключевых фраз в CSV

Формат результата:

[% FOREACH key_phrases;
tools.CSVline(req, base_freq, va_freq, pos);
END %]

Пример результата:

"авито",59415062,9034027,1
"авито москва",1782404,451582,1
"авито санкт петербург",634665,343183,1
avito,1207134,307012,1
"авито воронеж",629468,286035,1

Дамп списка ключевых фраз в JSON

Общий формат результата:

[% IF notFirst;
",\n";
ELSE;
notFirst = 1;
END;

obj = {};
obj.query = query;
obj.phrases = [];

FOREACH item IN p1.key_phrases;
obj.phrases.push({
req = item.req
base_freq = item.base_freq
va_freq = item.va_freq
pos = item.pos
});
END;

obj.json %]

Начальный текст:

[

Конечный текст:

]

Пример результата:

[
{
"query": "avito.ru",
"phrases": [
{
"base_freq": "59415062",
"req": "авито",
"va_freq": "9034027",
"pos": "1"
},
{
"base_freq": "1782404",
"req": "авито москва",
"va_freq": "451582",
"pos": "1"
},
{
"base_freq": "634665",
"req": "авито санкт петербург",
"va_freq": "343183",
"pos": "1"
}
]
}
]
подсказка

Чтобы опции "Начальный текст" и "Конечный текст" были доступны в Редакторе заданий, нужно активировать "Больше опций".

Вывод страниц органической выдачи

Формат результата:

$organic_pages.format('$pages, $keys\n')

Пример результата:

http://a-parser.com/, 315
http://a-parser.com/wiki/parsers/, 115
http://a-parser.com/a-parser-for-e-commerce/, 56
http://a-parser.com/wiki/js-parsers/, 44
http://a-parser.com/wiki/html-emailextractor/, 40
http://a-parser.com/resources/21/, 39
http://a-parser.com/threads/1809/, 35
http://a-parser.com/threads/4253/, 32

Вывод страниц органической выдачи в CSV

Формат результата:

[% FOREACH organic_page;
tools.CSVline(pages, keys);
END %]

Пример результата:

http://a-parser.com/, 315
http://a-parser.com/wiki/parsers/, 115
http://a-parser.com/a-parser-for-e-commerce/, 56
http://a-parser.com/wiki/js-parsers/, 44
http://a-parser.com/wiki/html-emailextractor/, 40
http://a-parser.com/resources/21/, 39
http://a-parser.com/threads/1809/, 35
http://a-parser.com/threads/4253/, 32

Дамп страниц органической выдачи в JSON

Общий формат результата:

[% IF notFirst;
",\n";
ELSE;
notFirst = 1;
END;

obj = {};
obj.query = query;
obj.organic = [];

FOREACH item IN p1.organic_pages;
obj.organic.push({
pages = item.pages
keys = item.keys
});
END;

obj.json %]

Начальный текст:

[

Конечный текст:

]

Пример результата:

[
{
"query": "avito.ru",
"organic": [
{
"keys": "4652",
"pages": "http://avito.ru/"
},
{
"keys": "4563",
"pages": "http://avito.ru/moskva/avtomobili"
},
{
"keys": "4484",
"pages": "http://avito.ru/moskva/kvartiry/sdam-ASgBAgICAUSSA8gQ"
}
]
}
]
подсказка

Чтобы опции "Начальный текст" и "Конечный текст" были доступны в Редакторе заданий, нужно активировать "Больше опций".

Вывод объявлений в контексте

Формат результата:

$ads_context.format('$aheader, $atext, $acount\n')

Пример результат:

Ремонт ПК и Ноутбуков в Москве, на Выезде! С 2015 года на Авито – Бронзовый статус. Прием заявок 24/7! · Компьютеры & Ноутбуки. Планшеты & Смартфоны. Роутеры & WI - FI, 38658
Забронируйте номер на Авито. В поездку вместе с Авито, Гостиницы и отели - множество предложений специально для вас. Теперь на Авито., 20122
Найдите работу в городе Москва. На Авито Работа, Свежие вакансии в городе Москва. Авито - сервис объявлений №1 в России!, 20110

Вывод объявлений в контексте в CSV

Формат результата:

[% FOREACH ads_context;
tools.CSVline(aheader, atext, acount);
END %]

Пример результат:

Ремонт ПК и Ноутбуков в Москве","на Выезде! С 2015 года на Авито – Бронзовый статус. Прием заявок 24/7! · Компьютеры & Ноутбуки. Планшеты & Смартфоны. Роутеры & WI - FI",38658
"Забронируйте номер на Авито. В поездку вместе с Авито","Гостиницы и отели - множество предложений специально для вас. Теперь на Авито.",20122
"Найдите работу в городе Москва. На Авито Работа","Свежие вакансии в городе Москва. Авито - сервис объявлений №1 в России!",20110
"Собаки на Авито. Купить или взять бесплатно.","Сотни тысяч объявлений. Совершайте выгодные сделки по всей России с помощью Авито!",17306

Дамп объявлений в контексте в JSON

Общий формат результата:

[% IF notFirst;
",\n";
ELSE;
notFirst = 1;
END;

obj = {};
obj.query = query;
obj.ads = [];

FOREACH item IN p1.ads_context;
obj.ads.push({
header = item.aheader
text = item.atext
count = item.acount
});
END;

obj.json %]

Начальный текст:

[

Конечный текст:

]

Пример результата:

[
{
"ads": [
{
"count": "38658",
"text": "на Выезде! С 2015 года на Авито – Бронзовый статус. Прием заявок 24/7! · Компьютеры & Ноутбуки. Планшеты & Смартфоны. Роутеры & WI - FI",
"header": "Ремонт ПК и Ноутбуков в Москве"
},
{
"count": "20122",
"text": "Гостиницы и отели - множество предложений специально для вас. Теперь на Авито.",
"header": "Забронируйте номер на Авито. В поездку вместе с Авито"
},
{
"count": "20110",
"text": "Свежие вакансии в городе Москва. Авито - сервис объявлений №1 в России!",
"header": "Найдите работу в городе Москва. На Авито Работа"
}
],
"query": "avito.ru"
}
]
подсказка

Чтобы опции "Начальный текст" и "Конечный текст" были доступны в Редакторе заданий, нужно активировать "Больше опций".

Вывод конкурентов в контексте

Формат результата:

$comp_context.format('$link, $common, $req, $ads\n')

Пример результата:

http://uslugi.yandex.ru, 340399, 11188812, 30632
http://superjob.ru, 180179, 885168, 19065
http://mvideo.ru, 174070, 2840150, 344731
http://pleer.ru, 166815, 2577993, 238284
http://ru.jobsora.com, 124103, 596184, 99781
http://citilink.ru, 114529, 1903350, 94937
http://goods.ru, 113373, 2684645, 328750
http://pokupki.market.yandex.ru, 81527, 2657498, 326255

Вывод конкурентов в контексте в CSV

Формат результата:

[% FOREACH comp_context; 
tools.CSVline(link, common, req, ads);
END %]

Пример результата:

http://uslugi.yandex.ru, 340399, 11188812, 30632
http://superjob.ru, 180179, 885168, 19065
http://mvideo.ru, 174070, 2840150, 344731
http://pleer.ru, 166815, 2577993, 238284
http://ru.jobsora.com, 124103, 596184, 99781
http://citilink.ru, 114529, 1903350, 94937
http://goods.ru, 113373, 2684645, 328750
http://pokupki.market.yandex.ru, 81527, 2657498, 326255

Дамп конкурентов в контексте в JSON

Общий формат результата:

[% IF notFirst;
",\n";
ELSE;
notFirst = 1;
END;

obj = {};
obj.query = query;
obj.competitors = [];

FOREACH item IN p1.comp_context;
obj.competitors.push({
link = item.link
common = item.common
req = item.req
ads = item.ads
});
END;

obj.json %]

Начальный текст:

[

Конечный текст:

]

Пример результата:

[
{
"query": "avito.ru",
"competitors": [
{
"ads": "30632",
"link": "http://uslugi.yandex.ru",
"req": "11188812",
"common": "340399"
},
{
"ads": "19065",
"link": "http://superjob.ru",
"req": "885168",
"common": "180179"
},
{
"ads": "344731",
"link": "http://mvideo.ru",
"req": "2840150",
"common": "174070"
},

]
}
]
подсказка

Чтобы опции "Начальный текст" и "Конечный текст" были доступны в Редакторе заданий, нужно активировать "Больше опций".

Вывод запросов сайта в контексте

Формат результата:

$wreq_context.format('$request, $freq, $va_freq, $pos, $placement, $price\n')

Пример результата:

работа в челябинске, 202530, 40163, 3, Спец., 4
алгебра 8 класс дорофеев, 217307, 18467, 2, Гар., 2
far cry 3, 113266, 23218, 5, Гар., 3
работа в барнауле, 128775, 26402, 3, Спец., 4
гарри поттер и тайная комната фильм 2002, 36482, 30450, 2, Гар., 5
мазда 6, 554463, 25248, 6, Гар., 19
assassin s creed, 535915, 29419, 5, Гар., 5
авито рязань, 325994, 137938, 3, Гар., 13

Вывод запросов сайта в контексте в CSV

Формат результата:

[% FOREACH wreq_context;
tools.CSVline(request, freq, va_freq, pos, placement, price);
END %]

Пример результата:

"работа в челябинске",202530,40163,3,"Спец.",4
"алгебра 8 класс дорофеев",217307,18467,2,"Гар.",2
"far cry 3",113266,23218,5,"Гар.",3
"работа в барнауле",128775,26402,3,"Спец.",4
"гарри поттер и тайная комната фильм 2002",36482,30450,2,"Гар.",5
"мазда 6",554463,25248,6,"Гар.",19
"assassin s creed",535915,29419,5,"Гар.",5
"авито рязань",325994,137938,3,"Гар.",13
"авито рязанская область",72077,19586,2,"Гар.",20

Дамп запросов сайта в контексте в JSON

Общий формат результата:

[% IF notFirst;
",\n";
ELSE;
notFirst = 1;
END;

obj = {};
obj.query = query;
obj.wreq = [];

FOREACH item IN p1.wreq_context;
obj.wreq.push({
request = item.request
freq = item.freq
va_freq = item.va_freq
pos = item.pos
placement = item.placement
price = item.price
});
END;

obj.json %]

Начальный текст:

[

Конечный текст:

]

Пример результата:

[
{
"query": "avito.ru",
"wreq": [
{
"request": "работа в челябинске",
"placement": "Спец.",
"freq": "202530",
"va_freq": "40163",
"price": "4",
"pos": "3"
},
{
"request": "алгебра 8 класс дорофеев",
"placement": "Гар.",
"freq": "217307",
"va_freq": "18467",
"price": "2",
"pos": "2"
},
{
"request": "far cry 3",
"placement": "Гар.",
"freq": "113266",
"va_freq": "23218",
"price": "3",
"pos": "5"
}
]
}
]
подсказка

Чтобы опции "Начальный текст" и "Конечный текст" были доступны в Редакторе заданий, нужно активировать "Больше опций".

Возможные настройки

ПараметрЗначение по умолчаниюОписание
Search DBYandex MoscowВыбор поисковой базы
Cookie "userlogin="В этом поле необходимо указать значение куки userlogin, взятое в браузере после авторизации