Перейти к основному содержимому

SE::Yandex::WordStat::ByRegion -

Yandex WordStat: ByRegion

Обзор парсера

Wordstat - это сервис Яндекса, предназначенный для оценки пользовательского интереса к различным тематикам и подбора ключевых слов для SEO-оптимизации и контекстной рекламы. Кроме того, с помощью Wordstat Yandex можно оценить сезонность и географическую зависимость поисковых запросов.

Парсер Yandex WordStat by region поддерживает автоматические размножение запросов, вы можете быть уверены что получите максимальное число результатов из выдачи. Также A-Parser может автоматически переходить по связанным запросам на указанную глубину.

Функционал A-Parser позволяет сохранять настройки парсинга для дальнейшего использования (пресеты), задавать расписание парсинга и многое другое. Вы можете использовать автоматическое размножение запросов, подстановку подзапросов из файлов, перебор цифро-буквенных комбинаций и списков для получения максимально возможного количества результатов.

Сохранение результатов возможно в том виде и структуре которая вам необходима, благодаря встроенному мощному шаблонизатору Template Toolkit который позволяет применять дополнительную логику к результатам и выводить данные в различных форматах, включая JSON, SQL и CSV.

Аккаунты

Для работы парсера SE::Yandex::WordStat::ByRegionSE::Yandex::WordStat::ByRegion необходимы аккаунты Яндекс. Аккаунты можно зарегистрировать с помощью парсера SE::Yandex::RegisterSE::Yandex::Register или просто добавить существующие аккаунты в файл files/SE-Yandex/accounts.txt в поддерживаемом формате.

Либо можно включить регистрацию аккаунтов "на лету".

Собираемые данные

  • Общее количество показов по запросу
  • Статистика ключевых слов по регионам и городам:
  • Регион/Город
  • Количество просмотров за месяц
  • Региональная популярность в %

Возможности

  • Поддержка автоматического обхода Smart captcha и возможность обхода графической каптчи с помощью сервиса AntiCaptcha или любого другого поддерживающего их API
  • Выбор типа устройства
  • Возможность выбирать метод авторизации
  • Возможность регистрировать аккаунты "на лету"
  • Поддерживает работу с расширенным форматом аккаунтов и умеет отвечать на секретный вопрос (если ответ есть в info). А также использует для авторизации сохраненную прокси (если она есть в info).

Варианты использования

  • Оценка количества трафика по кейворду в разрезе регионов

Запросы

В качестве запросов необходимо указывать ключевые слова, точно так же как если бы их вводили прямо в форму поиска Вордстата, например:

test

Варианты вывода результатов

A-Parser поддерживает гибкое форматирование результатов благодаря встроенному шаблонизатору Template Toolkit, что позволяет ему выводить результаты в произвольной форме, а также в структуированной, например CSV или JSON

Вывод по умолчанию

Формат результата:

$query - Total views: $totalcount\nViews by regions:\n$regions.format('$region $count, $popularity%\n')\nViews by cities:\n$cities.format('$city $count, $popularity%\n')

В результате отображено количество показов по запросу, статистика ключевых слов по регионам и городам, количество просмотров за месяц и региональная популярность:

test - Total views: 872855
Views by regions:
Москва и Московская область 147107, 85%
Центр 194716, 77%
Северо-Запад 55815, 70%
Юг 31759, 67%
Поволжье 86006, 66%
...
Views by cities:
Чита 2937, 113%
Санкт-Петербург 35713, 73%
Белгород 2737, 58%
Иваново 1773, 55%
Калуга 2196, 64%
Кострома 1166, 49%

Вывод в таблицу CSV

Формат результата:

[% FOREACH i IN regions;
tools.CSVline(query, i.popularity, i.region, i.count);
END %]

Пример результата:

"тест",88,"Москва и Московская область",1902795
"тест",96,"Центр",2992864
"тест",95,"Северо-Запад",926138
"тест",112,Юг,647140
"тест",124,"Поволжье",1927873
"тест",64,"Запад",60975
"тест",86,"Восток",427304

Сохранение в формате SQL

Формат результата:

[% FOREACH i IN regions;
"INSERT INTO regions VALUES('" _ query _ "', '"; i.popularity _ "', '"; i.count _ "', '"; i.region _ "')\n";
END %]

Пример результата:

INSERT INTO regions VALUES('тест', '88', '1902795', 'Москва и Московская область')
INSERT INTO regions VALUES('тест', '96', '2992864', 'Центр')
INSERT INTO regions VALUES('тест', '95', '926138', 'Северо-Запад')
INSERT INTO regions VALUES('тест', '112', '647140', 'Юг')
INSERT INTO regions VALUES('тест', '124', '1927873', 'Поволжье')
INSERT INTO regions VALUES('тест', '64', '60975', 'Запад')
INSERT INTO regions VALUES('тест', '86', '427304', 'Восток')
INSERT INTO regions VALUES('тест', '80', '89569', 'Юг')
INSERT INTO regions VALUES('тест', '75', '356560', 'Центр')
INSERT INTO regions VALUES('тест', '77', '34894', 'Север')

Дамп результатов в JSON

Общий формат результата:

[% IF notFirst;
",\n";
ELSE;
notFirst = 1;
END;

obj = {};
obj.totalcount = p1.totalcount;
obj.regions = [];

FOREACH item IN p1.regions;
obj.regions.push({
popularity = item.popularity
region = item.region
count = item.count
});
END;

obj.json %]

Начальный текст:

[

Конечный текст:

]

Пример результата:

[
{
"regions": [
{
"count": "1902795",
"popularity": 88,
"region": "Москва и Московская область"
},
{
"count": "2992864",
"popularity": 96,
"region": "Центр"
},
{
"count": "926138",
"popularity": 95,
"region": "Северо-Запад"
},
{
"count": "647140",
"popularity": 112,
"region": "Юг"
},
{

"count": "34894",
"popularity": 77,
"region": "Север"
},
],
"totalcount": "10837937"
}
]
подсказка

Смотреть также: Фильтры результатов

Возможные настройки

ПараметрЗначение по умолчаниюОписание
AntiGate presetdefaultНеобходимо предварительно настроить парсер Util::AntiGateUtil::AntiGate - указать свой ключ доступа и другие параметры, после чего выбрать созданный пресет здесь
AntiGate preset for LogindefaultПресет AntiGate для логина. Необходимо предварительно настроить парсер Util::AntiGateUtil::AntiGate с параметрами, после чего выбрать созданный пресет здесь
TypeAllВыбор типа устройства
AccountsOnly from "accounts.txt"Выбор метода работы с аккаунтами: Always auto register - всегда автоматически регистрировать аккаунты "на лету", требуется выбрать настроенный пресет в параметре SE::Yandex::Register preset. Auto register if no more in "accounts.txt" - сначала используются существующие аккаунты из accounts.txt, а если они заканчиваются - используется автоматическая регистрация "на лету", для которой соответственно нужно выбрать настроенный пресет в параметре SE::Yandex::Register preset. Only from "accounts.txt" - использовать только существующие аккаунты из accounts.txt, а если они заканчиваются - ждать заданное время (параметр Wait new accounts in "accounts.txt") появления новых
Wait new accounts in "accounts.txt"0Время ожидания появления новых аккаунтов в accounts.txt
Remove bad accountsAlways, except wrong login/passwordАвтоматическое удаление "плохих" аккаунтов: Always - всегда удалять. Always, except wrong login/password - удалять всегда, кроме случаев, когда Яндекс сообщил что указаны неверный логин/пароль. Дело в том, что такое сообщение Яндекс может отдавать при бане IP для абсолютно рабочего аккаунта, поэтому опционально можно оставлять такие аккаунты для повторного использования. Never - никогда не удалять. Вне зависимости от выбранного варианта при ошибках прокси/браузера аккаунты не удаляются
SE::Yandex::Register presetdefaultВыбор пресета настроек для SE::Yandex::RegisterSE::Yandex::Register
Authorization methodHTTPМетод авторизации: HTTP - быстро, не требовательно к ресурсам. Chrome - медленно, требовательно к ресурсам, теоретически может продлевать жизнь аккаунтам
Chrome headlessЕсли опция включена, браузер не будет отображаться
Use sessionsИспользование сессий
Do not reset session if authorization passedНе сбрасывать сессию при ошибках если парсер уже авторизовался
Use Wordstat 2Использование Wordstat 2
Wordstat 2 parse all table dataПозволяет сразу выгружать все 2000 результатов по запросу без прохода по пагинации