SE::Google::KeywordPlanner::SearchVolume - оценка количества запросов и других показателей ключевых слов из Google Keyword Planner
Обзор парсера
SE::Google::KeywordPlanner::SearchVolume – парсер для оценки обьемок поисковых запросов ключевых слов с Google Keyword Planner. Для использования доступно множество получаемых данных: среднее кол-во запросов в месяц, изменения в обьемах за квартал и за год, минимальная и максимальная ставка, уровень конкуренции. В настройках парсинга вы можете указать язык, локацию, рекламную сеть и период выборки данных. Также доступен пакетный режим, благодаря которому за один запрос к сервису можно получить данные сразу для 10000 ключевых слов, тем самым очень значительно ускоряя парсинг.Благодаря многопоточной работе A-Parser'a в сочетании с пакетным ежимом, скорость обработки запросов может достигать нескольких десятков тысяч запросов в минуту.
Функционал A-Parser позволяет сохранять настройки парсинга парсера SE::Google::KeywordPlanner::SearchVolume для дальнейшего использования (пресеты), задавать расписание парсинга и многое другое.
Сохранение результатов возможно в том виде и структуре которая вам необходима, благодаря встроенному мощному шаблонизатору Template Toolkit который позволяет применять дополнительную логику к результатам и выводить данные в различных форматах, включая JSON, SQL и CSV.
Собираемые данные
- Cреднее количество запросов в месяц для искомого ключевого слова
- Изменение за квартал
- Изменение за год
- Уровень конкуренции
- Минимальная и максимальная ставки
- Тренды поисковых обьемов за выбранный период
- Месяц и год
- Общее количество запросов
- Количество запросов только с мобильных устройств (недоступно в пакетном режиме)
Возможности
- Поддержка авторизации по логин-паролю или через подстановку кук и заголовков
- Определение степени точности $volume - точное/округленное значение
- Поддерживается пакетный режим, включен по умолчанию
- Поддержка мультиаккаунтов (для выбора нужного аккаунта обязательно должен быть указан его
ocid(uscid))
Варианты использования
- Сбор среднего кол-во запросов в месяц, минимальных и максимальных ставок, оценка конкуренции
- Анализ трендов
Настройка
Существует два варианта настройки парсера:
- указать эл. почту\пароль от аккаунта Keyword Planner
- авторизоваться в браузере и скопировать нужные значения
Относитесь с осторожностью к количеству потоков. Рекомендуется указывать небольшое кол-во потоков, при этом вполне возможен парсинг без прокси.
Авторизация через почту и пароль
Нужно переопределить опции E-mail и Password, указав данные от вашего аккаунта Keyword Planner. На аккаунте обязательно должна быть создана кампания.
Спойлер: (Решение) Login failed TypeError: Cannot read property '1' of null
В случае возникновения данной ошибки вам нужно удалить свой аккаунт Google из браузера и залогиниться заново.
Авторизация в браузере и подстановка заголовков в парсер
Необходимо авторизоваться в браузере по ссылке https://ads.google.com/aw/keywordplanner/home, создать первую кампанию, если ранее не было, взять следующие данные и указать их в настройках парсера:
Куки можно указать двумя способами:
- Указать все куки в опцию All cookies
- Указать значения из куки для опций __Secure-3PSID, __Secure-3PSIDTS (__Secure-3PSIDTS нужно указать в случае если authuser на аккаунте равен 0)
Остальные заголовки:
- Значение заголовка x-framework-xsrf-token
- Значение параметра ocid или uscid из урла
- Значение параметра authuser из урла
Спойлер: Как найти необходимые параметры
Запросы
В качестве запросов нужно указывать ключевые слова, по одному КС на строку. Пример запросов:
coca-cola
parsing
peace
starlink
test
Поддерживается пакетный режим, который активируется опцией Bulk (packet) mode. В этом режиме парсер в запросе к сервису будет отправлять пакеты по 10000 КС. В этом режиме не собираются данные о количестве запросов с мобильных устройств ($trends.$i.mobile). Пакетный режим включен по умолчанию.
Подстановки запросов
Вы можете использовать встроенные макросы для автоматической подстановки подзапросов из файлов, например мы хотим к кажому запросу добавить какой-то список других слов, укажем несколько основных запросов:
fantasy
tower defense
rpg
В формате запросов укажем макрос подстановки дополнительных слов из файла keywords.txt, данный метод позволяет увеличить вариативность запросов многократно:
{subs:keywords} $query
Данный макрос создаст столько же дополнительных запросов сколько их находится в файле на каждый исходный поисковый запрос, что в сумме даст [количество исходных запросов] х [количество запросов в файле Keywords] = [общее количество запросов] в результате работы макроса.
Например, если в файл keywords.txt будет содержать:
free
online
В итоге макрос подстановок превратит 3 основных запроса в 6:
free fantasy
online fantasy
free tower defense
online tower defense
free rpg
online rpg
Варианты вывода результатов
A-Parser поддерживает гибкое форматирование результатов благодаря встроенному шаблонизатору Template Toolkit, что позволяет ему выводить результаты в произвольной форме, а также в структуированной, например CSV или JSON
Вывод по умолчанию
Формат результата:
$query: $volume\n
Пример результата с выводом ключевого слова и его среднего количества запросов в месяц:
coca-cola: 3350000
parsing: 165000
peace: 673000
starlink: 1830000
test: 7480000
Вывод в таблицу CSV
Общий формат результата:
[% tools.CSVline(query, p1.volume, p1.min_bid, p1.max_bid) %]
Имя файла:
$datefile.format().csv
Начальный текст:
Keyword,Volume,"Min bid","Max bid"
В Общем формате результатов применяется шаблонизатор Template Toolkit и инструмент tools.CSVline для вывода данных.
В имени файла результатов нужно просто изменить разрешение файла на csv.
Чтобы опция "Начальный текст" была доступна в Редакторе заданий, нужно активировать "Больше опций". В "Начальный текст" записываем названия столбцов через запятую и второй строку делаем пустой.
Сохранение в формате SQL
Формат результата:
[% "INSERT INTO volumes VALUES('" _ query _ "', '" _ volume _ "')\n" %]
Пример результата:
INSERT INTO volumes VALUES('духи', '50000')
INSERT INTO volumes VALUES('eyfel perfume', '5000')
INSERT INTO volumes VALUES('memo marfa', '5000')
Дамп результатов в JSON
Общий формат результата:
[% IF notFirst;
",\n";
ELSE;
notFirst = 1;
END;
obj = {};
obj.keyword = query;
obj.volume = p1.volume;
obj.json %]
Начальный текст:
[
Конечный текст:
]
Пример результата:
[{"keyword":"духи","volume":"50000"},
{"keyword":"eyfel perfume","volume":"5000"},
{"keyword":"memo marfa","volume":"5000"}]
Детальнее о выводе результатов в JSON описано в этой статье.
Возможные настройки
| Параметр | Значение по умолчанию | Описание |
|---|---|---|
| All cookies | Указание всех кук | |
| Cookie "__Secure-3PSID" | Кука "__Secure-3PSID" | |
| Cookie "__Secure-3PSIDTS" | Кука "__Secure-3PSIDTS" | |
| Header "x-framework-xsrf-token" | Заголовок "x-framework-xsrf-token" | |
| Url parameter "ocid"("uscid") | Параметр "ocid"("uscid") | |
| Url parameter "authuser" | 0 | Параметр "authuser" |
| E-mail для авторизации в Keyword Planner | ||
| Password | Пароль для авторизации в Keyword Planner | |
| Recovery e-mail | E-mail для восстановления доступа | |
| Browser headless (debug auth) | ☑ | Режим headless для браузера, используемого для авторизации через логин-пароль |
| Log Login Screenshot (debug auth) | ☐ | Создание скриншота страницы авторизации и вывод его в лог задания |
| Date from | Last 12 months | Дата от |
| Date to | Last 12 months | Дата до |
| Language | English | Язык |
| Search networks | Google | Поисковая сеть |
| Location code | Локация (здесь нужно указывать id локации, взять можно из первого столбика этой таблицы (копия)) | |
| Delete created plan | ☑ | Удалять созданный план |
| Bulk (packet) mode | ☑ | Включение пакетного режима |