SE::Yandex::WordStat::ByDate - Парсер статистики показов Yandex WordStat по месяцам или неделям

Обзор парсера

Wordstat - это сервис Яндекса, предназначенный для оценки пользовательского интереса к различным тематикам и подбора ключевых слов для SEO-оптимизации и контекстной рекламы. Кроме того, с помощью Wordstat Yandex можно оценить сезонность и географическую зависимость поисковых запросов.

Парсер Yandex WordStat by date поддерживает автоматические размножение запросов, вы можете быть уверены что получите максимальное число результатов из выдачи. Также A-Parser может автоматически переходить по связанным запросам на указанную глубину.

Функционал A-Parser позволяет сохранять настройки парсинга для дальнейшего использования (пресеты), задавать расписание парсинга и многое другое. Вы можете использовать автоматическое размножение запросов, подстановку подзапросов из файлов, перебор цифро-буквенных комбинаций и списков для получения максимально возможного количества результатов.

Сохранение результатов возможно в том виде и структуре которая вам необходима, благодаря встроенному мощному шаблонизатору Template Toolkit который позволяет применять дополнительную логику к результатам и выводить данные в различных форматах, включая JSON, SQL и CSV.

Перейти к ДЕМО Купить A-Parser Pro ($299)

Кейсы по применению парсера

🔗 Автоматизация Wordstat bydate

Используется для хранения в базе актуальной информации, и при каждом запуске формирует csv со свежими данными

Аккаунты

Для работы парсера SE::Yandex::WordStat::ByDate необходимы аккаунты Яндекс. Аккаунты можно зарегистрировать с помощью парсера SE::Yandex::Register или просто добавить существующие аккаунты в файл files/SE-Yandex/accounts.txt в поддерживаемом формате.

Либо можно включить регистрацию аккаунтов "на лету".

Собираемые данные

Статистика ключевых слов по месяцам или неделям
Дату
Абсолютное значение
Относительное значение

Возможности

Поддерживает выбор региона поиска (с подгруппами)
Возможность выбора сразу нескольких регионов для оценки
Поддержка автоматического обхода Smart captcha и возможность обхода графической каптчи с помощью сервиса AntiCaptcha или любого другого поддерживающего их API
Выбор типа устройства
Возможность выбирать метод авторизации
Возможность регистрировать аккаунты "на лету"
Поддерживает работу с расширенным форматом аккаунтов и умеет отвечать на секретный вопрос (если ответ есть в info). А также использует для авторизации сохраненную прокси (если она есть в info).

Варианты использования

Оценка количества трафика по кейворду
Выявление сезонных ключевых слов

Запросы

В качестве запросов необходимо указывать ключевые слова, точно так же как если бы их вводили прямо в форму поиска Вордстата, например:

test

Варианты вывода результатов

A-Parser поддерживает гибкое форматирование результатов благодаря встроенному шаблонизатору Template Toolkit, что позволяет ему выводить результаты в произвольной форме, а также в структуированной, например CSV или JSON

Вывод по умолчанию

Формат результата:

Views:\n$views.format('$date $count $relcount\n')

В результате отображена статистика ключевых слов за месяц и за неделю:

Monthly:  
2011-09-30 3010832 0.0008903808  
2011-10-31 681432 0.0001825883  
2011-11-30 628532 0.0001575008  
2011-12-31 629072 0.0001495699  
2012-01-31 561206 0.0001300651  
2012-02-29 572039 0.0001290000  
2012-03-31 614897 0.0001225754  
2012-04-30 520433 0.0001185340  
2012-05-31 521967 0.0001235327  
2012-06-30 502568 0.0001299958  
...  
Weekly:  
2012-09-16 118715 0.0001222877  
2012-09-23 120799 0.0001211773  
2012-09-30 137809 0.0001365837  
2012-10-07 133929 0.0001313643  
2012-10-14 140373 0.0001293922  
2012-10-21 136014 0.0001242209  
2012-10-28 148350 0.0001293328  
2012-11-04 139556 0.0001232566  
2012-11-11 154830 0.0001314057  
2012-11-18 136458 0.0001147489  
2012-11-25 149463 0.0001261401  
2012-12-02 144724 0.0001197564  
2012-12-09 149142 0.0001212195  
2012-12-16 162864 0.0001298181  

Вывод в таблицу CSV

Формат результата:

[% FOREACH i IN views;
 tools.CSVline(query, i.count, i.date);
END %]

Пример результата:

"тест",9661734,2012-03-31
"тест",8567243,2012-04-30
"тест",9028986,2012-05-31
"тест",6082099,2012-06-30
"тест",5531950,2012-07-31
"тест",5214663,2012-08-31
"тест",6603865,2012-09-30
"тест",9127457,2012-10-31
"тест",9238652,2012-11-30

Сохранение в формате SQL

Формат результата:

[% FOREACH i IN views;
  "INSERT INTO views VALUES('" _ query _ "', '";    i.count _ "', '"; i.relcount _ "', '";  i.date _ "')\n";
END %]

Пример результата:

INSERT INTO serp VALUES('тест', '9661734', '0.0019259985', '2012-03-31')
INSERT INTO serp VALUES('тест', '8567243', '0.0019512785', '2012-04-30')
INSERT INTO serp VALUES('тест', '9028986', '0.0021368683', '2012-05-31')
INSERT INTO serp VALUES('тест', '6082099', '0.0015732140', '2012-06-30')
INSERT INTO serp VALUES('тест', '5531950', '0.0013160071', '2012-07-31')
INSERT INTO serp VALUES('тест', '5214663', '0.0013327945', '2012-08-31')
INSERT INTO serp VALUES('тест', '6603865', '0.0015936909', '2012-09-30')
INSERT INTO serp VALUES('тест', '9127457', '0.0018740506', '2012-10-31')
INSERT INTO serp VALUES('тест', '9238652', '0.0018308715', '2012-11-30')

Дамп результатов в JSON

Общий формат результата:

[% IF notFirst;
  ",\n";
ELSE;
  notFirst = 1;
END;

obj = {};
obj.views = [];

FOREACH item IN p1.views;
    obj.views.push({
        date = item.date
        relcount = item.relcount
        count = item.count
    });
END;

obj.json %]

Начальный текст:

Конечный текст:

Пример результата:

[{
    "views": [
        {
            "count": "9661734",
            "date": "2012-03-31",
            "relcount": "0.0019259985"
        },
        {
            "count": "8567243",
            "date": "2012-04-30",
            "relcount": "0.0019512785"
        },
        {
            "count": "9028986",
            "date": "2012-05-31",
            "relcount": "0.0021368683"
        }
    ]
}]

подсказка

Смотреть также: Фильтры результатов

Возможные настройки

примечание

Общие настройки для всех парсеров

Параметр	Значение по умолчанию	Описание
Period	`Monthly`	Выбор периода (Monthly/Weekly/Daily, Daily работает только с включенной опцией Use Wordstat 2)
Start date		Указание с какой даты выполнять поиск. Работает только с включенной опцией Use Wordstat 2. Обязательно нужно учитывать правила указания даты
End date		Указание по какую дату выполнять поиск. Работает только с включенной опцией Use Wordstat 2. Обязательно нужно учитывать правила указания даты
Region	`All`	Регион поиска
AntiGate preset	`default`	Необходимо предварительно настроить парсер Util::AntiGate - указать свой ключ доступа и другие параметры, после чего выбрать созданный пресет здесь
AntiGate preset for Login	`default`	Пресет AntiGate для логина. Необходимо предварительно настроить парсер Util::AntiGate с параметрами, после чего выбрать созданный пресет здесь
Type	`All`	Выбор типа устройства
Accounts	`Only from "accounts.txt"`	Выбор метода работы с аккаунтами: `Always auto register` - всегда автоматически регистрировать аккаунты "на лету", требуется выбрать настроенный пресет в параметре SE::Yandex::Register preset. `Auto register if no more in "accounts.txt"` - сначала используются существующие аккаунты из accounts.txt, а если они заканчиваются - используется автоматическая регистрация "на лету", для которой соответственно нужно выбрать настроенный пресет в параметре SE::Yandex::Register preset. `Only from "accounts.txt"` - использовать только существующие аккаунты из accounts.txt, а если они заканчиваются - ждать заданное время (параметр Wait new accounts in "accounts.txt") появления новых
Wait new accounts in "accounts.txt"	`0`	Время ожидания появления новых аккаунтов в accounts.txt
Remove bad accounts	`Always, except wrong login/password`	Автоматическое удаление "плохих" аккаунтов: `Always` - всегда удалять. `Always, except wrong login/password` - удалять всегда, кроме случаев, когда Яндекс сообщил что указаны неверный логин/пароль. Дело в том, что такое сообщение Яндекс может отдавать при бане IP для абсолютно рабочего аккаунта, поэтому опционально можно оставлять такие аккаунты для повторного использования. `Never` - никогда не удалять. Вне зависимости от выбранного варианта при ошибках прокси/браузера аккаунты не удаляются
SE::Yandex::Register preset	`default`	Выбор пресета настроек для SE::Yandex::Register
Authorization method	`HTTP`	Метод авторизации: `HTTP` - быстро, не требовательно к ресурсам. `Chrome` - медленно, требовательно к ресурсам, теоретически может продлевать жизнь аккаунтам
Chrome headless	`☑`	Если опция включена, браузер не будет отображаться
Use sessions	`☑`	Использование сессий
Do not reset session if authorization passed	`☑`	Не сбрасывать сессию при ошибках если парсер уже авторизовался
Use Wordstat 2	`☐`	Использование Wordstat 2
Wordstat 2 parse all table data	`☑`	Позволяет сразу выгружать все 2000 результатов по запросу без прохода по пагинации

Обзор парсера​

Кейсы по применению парсера​

🔗 Автоматизация Wordstat bydate

Аккаунты​

Собираемые данные​

Возможности​

Варианты использования​

Запросы​

Варианты вывода результатов​

Вывод по умолчанию​

Вывод в таблицу CSV​

Сохранение в формате SQL​

Дамп результатов в JSON​

Возможные настройки​

Обзор парсера

Кейсы по применению парсера

Аккаунты

Собираемые данные

Возможности

Варианты использования

Запросы

Варианты вывода результатов

Вывод по умолчанию

Вывод в таблицу CSV

Сохранение в формате SQL

Дамп результатов в JSON

Возможные настройки