SE::Yandex::WordStat::ByDate - Парсер статистики показов Yandex WordStat по месяцам или неделям
Обзор парcера Yandex WordStat by date
Wordstat - это сервис Яндекса, предназначенный для оценки пользовательского интереса к различным тематикам и подбора ключевых слов для SEO-оптимизации и контекстной рекламы. Кроме того, с помощью Wordstat Yandex можно оценить сезонность и географическую зависимость поисковых запросов.
Парсер Yandex WordStat by date поддерживает автоматические размножение запросов, вы можете быть уверены что получите максимальное число результатов из выдачи. Также A-Parser может автоматически переходить по связанным запросам на указанную глубину.
Функционал A-Parser позволяет сохранять настройки парсинга для дальнейшего использования (пресеты), задавать расписание парсинга и многое другое. Вы можете использовать автоматическое размножение запросов, подстановку подзапросов из файлов, перебор цифро-буквенных комбинаций и списков для получения максимально возможного количества результатов.
Сохранение результатов возможно в том виде и структуре которая вам необходима, благодаря встроенному мощному шаблонизатору Template Toolkit который позволяет применять дополнительную логику к результатам и выводить данные в различных форматах, включая JSON, SQL и CSV.
Кейсы по применению парсера Wordstat by date
Автоматизация Wordstat bydate
Используется для хранения в базе актуальной информации, и при каждом запуске формирует csv со свежими данными
Аккаунты
Для работы парсера 
SE::Yandex::WordStat необходимы аккаунты Яндекс. Аккаунты можно зарегистрировать с помощью парсера 
SE::Yandex::Register или просто добавить существующие аккаунты в файл files/SE-Yandex/accounts.txt в формате:
[email protected];password
[email protected];password2
Либо можно включить регистрацию аккаунтов "на лету"
Собираемые данные
- Статистика ключевых слов по месяцам или неделям
- Дату
- Абсолютное значение
- Относительное значение
Возможности
- Поддерживает выбор региона поиска(с подгруппами)
- Возможность выбора сразу нескольких регионов для оценки
- Поддержка автоматического обхода Smart captcha и возможность обхода графической каптчи с помощью сервиса AntiCaptcha или любого другого поддерживающего их API
- Выбор типа устройства
- Возможность выбирать метод авторизации
- Возможность регистрировать аккаунты "на лету"
Варианты использования
- Оценка количества трафика по кейворду
- Выявление сезонных ключевых слов
Запросы
- В качестве запросов необходимо указывать ключевые слова, точно так же как если бы их вводили прямо в форму поиска Вордстата, например:
test
Результаты
- В результате отображена статистика ключевых слов за месяц и за неделю:
Monthly:
2011-09-30 3010832 0.0008903808
2011-10-31 681432 0.0001825883
2011-11-30 628532 0.0001575008
2011-12-31 629072 0.0001495699
2012-01-31 561206 0.0001300651
2012-02-29 572039 0.0001290000
2012-03-31 614897 0.0001225754
2012-04-30 520433 0.0001185340
2012-05-31 521967 0.0001235327
2012-06-30 502568 0.0001299958
...
Weekly:
2012-09-16 118715 0.0001222877
2012-09-23 120799 0.0001211773
2012-09-30 137809 0.0001365837
2012-10-07 133929 0.0001313643
2012-10-14 140373 0.0001293922
2012-10-21 136014 0.0001242209
2012-10-28 148350 0.0001293328
2012-11-04 139556 0.0001232566
2012-11-11 154830 0.0001314057
2012-11-18 136458 0.0001147489
2012-11-25 149463 0.0001261401
2012-12-02 144724 0.0001197564
2012-12-09 149142 0.0001212195
2012-12-16 162864 0.0001298181
Варианты вывода резульатов
A-Parser поддерживает гибкое форматирование результатов благодаря встроенному шаблонизатору Template Toolkit, что позволяет ему выводить результаты в произвольной форме, а также в структуированной, например CSV или JSON
Вывод результата в JSON
Формат результата:
[% data = {};
data.views = [];
FOREACH i IN views;
item = {};
item.date = i.date;
item.relcount = i.relcount;
item.count = i.count;
data.views.push(item);
END;
data.json %]
Пример результата:
{
"views": [
{
"count": "9661734",
"date": "2012-03-31",
"relcount": "0.0019259985"
},
{
"count": "8567243",
"date": "2012-04-30",
"relcount": "0.0019512785"
},
{
"count": "9028986",
"date": "2012-05-31",
"relcount": "0.0021368683"
}
]
}
Вывод результата в CSV
Формат результата:
[% FOREACH i IN views;
tools.CSVline(query, i.count, i.date);
END %]
Пример результата:
"тест",9661734,2012-03-31
"тест",8567243,2012-04-30
"тест",9028986,2012-05-31
"тест",6082099,2012-06-30
"тест",5531950,2012-07-31
"тест",5214663,2012-08-31
"тест",6603865,2012-09-30
"тест",9127457,2012-10-31
"тест",9238652,2012-11-30
Дамп результата в SQL
Формат результата:
[% FOREACH i IN views;
"INSERT INTO views VALUES('" _ query _ "', '"; i.count _ "', '"; i.relcount _ "', '"; i.date _ "')\n";
END %]
Пример результата:
INSERT INTO serp VALUES('тест', '9661734', '0.0019259985', '2012-03-31')
INSERT INTO serp VALUES('тест', '8567243', '0.0019512785', '2012-04-30')
INSERT INTO serp VALUES('тест', '9028986', '0.0021368683', '2012-05-31')
INSERT INTO serp VALUES('тест', '6082099', '0.0015732140', '2012-06-30')
INSERT INTO serp VALUES('тест', '5531950', '0.0013160071', '2012-07-31')
INSERT INTO serp VALUES('тест', '5214663', '0.0013327945', '2012-08-31')
INSERT INTO serp VALUES('тест', '6603865', '0.0015936909', '2012-09-30')
INSERT INTO serp VALUES('тест', '9127457', '0.0018740506', '2012-10-31')
INSERT INTO serp VALUES('тест', '9238652', '0.0018308715', '2012-11-30')
tip
Смотрите также: Фильтры результатов
Возможные настройки
important
| Параметр | Значение по умолчанию | Описание |
|---|---|---|
| Period | Monthly | Выбор периода |
| Region | All | Регион поиска |
| AntiGate preset | default | Необходимо предварительно настроить парсер  Util::AntiGate - указать свой ключ доступа и другие параметры, после чего выбрать созданный пресет здесь |
| AntiGate preset for Login | default | Пресет AntiGate для логина. Необходимо предварительно настроить парсер Util::AntiGate с параметрами, после чего выбрать созданный пресет здесь |
| Type | All | Выбор типа устройства |
| Accounts | Only from "accounts.txt" | Выбор метода работы с аккаунтами: Always auto register - всегда автоматически регистрировать аккаунты "на лету", требуется выбрать настроенный пресет в параметре SE::Yandex::Register preset. Auto register if no more in "accounts.txt" - сначала используются существующие аккаунты из accounts.txt, а если они заканчиваются - используется автоматическая регистрация "на лету", для которой соответственно нужно выбрать настроенный пресет в параметре SE::Yandex::Register preset. Only from "accounts.txt" - использовать только существующие аккаунты из accounts.txt, а если они заканчиваются - ждать заданное время (параметр Wait new accounts in "accounts.txt") появления новых |
| Wait new accounts in "accounts.txt" | 0 | Время ожидания появления новых аккаунтов в accounts.txt |
| Remove bad accounts | Always, except wrong login/password | Автоматическое удаление "плохих" аккаунтов: Always - всегда удалять. Always, except wrong login/password - удалять всегда, кроме случаев, когда Яндекс сообщил что указаны неверный логин/пароль. Дело в том, что такое сообщение Яндекс может отдавать при бане IP для абсолютно рабочего аккаунта, поэтому опционально можно оставлять такие аккаунты для повторного использования. Never - никогда не удалять. Вне зависимости от выбранного варианта при ошибках прокси/браузера аккаунты не удаляются |
| SE::Yandex::Register preset | default | Выбор пресета настроек для SE::Yandex::Register |
| Authorization method | HTTP | Метод авторизации: HTTP - быстро, не требовательно к ресурсам. Chrome - медленно, требовательно к ресурсам, теоретически может продлевать жизнь аккаунтам |
| Chrome headless | ☑ | Если опция включена, браузер не будет отображаться |
| Use sessions | ☑ | Использование сессий |
| Do not reset session if authorization passed | ☑ | Не сбрасывать сессию при ошибках если парсер уже авторизовался |