Перейти к основному содержимому

SE::Google::Suggest - Парсер поисковых подсказок Google

Обзор парсера

Парсер поисковых подсказок по ключевым словам в Гугле. Благодаря парсеру SE::Google::Suggest вы сможете автоматически собирать базы ключей из подсказок поисковой системы Google по запросу. Используя парсер SE::Google::Suggest можно легко и быстро спарсить подсказки Гугла по запросу исходя из выбранной страны, языка или домена.

Парсер Google подсказок решает одну из главных задач SEO, а именно быстрое автоматизированное получение расширенного семанического ядра. Поисковые подсказки google позволяют охватить максимальное количество фраз, а в комплексе с парсером Ключевых Слов Гугл - SE::Google::KeywordPlannerSE::Google::KeywordPlanner вы получите максимально целостную семантику, которая поможет привлечь больше органического трафика.

Благодаря многопоточной работе A-Parser'a, скорость обработки запросов может достигать 6000 запросов в минуту, что в среднем позволяет получать до 45000-46000 результатов в минуту.

Обзор парсера: скорость работы

Вы можете использовать автоматическое размножение запросов, подстановку подзапросов из файлов, перебор цифро-буквенных комбинаций и списков для получения максимально возможного количества результатов. Используя фильтрацию результатов вы можете сразу почистить результат, удалив весь не нужный мусор (использовав минус-слова).

Функционал A-Parser позволяет сохранять настройки парсинга парсера SE::Google::Suggest для дальнейшего использования (пресеты), задавать расписание парсинга и многое другое.

Сохранение результатов возможно в том виде и структуре которая вам необходима, благодаря встроенному мощному шаблонизатору Template Toolkit который позволяет применять дополнительную логику к результатам и выводить данные в различных форматах, включая JSON, SQL и CSV.

Кейсы по применению парсера

Собираемые данные

  • Количество результатов по запросу
  • Подсказки к запросу
  • Тип подсказки (0 - человеческая, 1 - искусственная)
Собираемые данные

Возможности

  • Поддерживает выбор страны поиска, домена, языка результатов
  • Возможность выбора источника, который нужно использовать для сбора подсказок(опция Client)
  • Возможность удалять HTML теги из результатов парсинга(опция Remove HTML tags)

Варианты использования

  • Сбор баз ключевых слов

Запросы

В качестве запросов необходимо указывать поисковые фразы, например:

write essay
Football
Waterfall
Speak in english
Cats and dogs
forex
cheap essay

Подстановки запросов

Вы можете использовать встроенные макросы для автоматической подстановки подзапросов из файлов, например мы хотим к кажому запросу добавить какой-то список других слов, укажем несколько основных запросов:

essay
article
thesis

В формате запросов укажем макрос подстановки дополнительных слов из файла Keywords.txt, данный метод позволяет увеличить вариативность запросов многократно:

{subs:Keywords} $query 

Данный макрос создаст столько же дополнительных запросов сколько их находится в файле на каждый исходный поисковый запрос, что в сумме даст [количество исходных запросов(домены)] х [количество запросов в файле Keywords] = [общее количество запросов] в результате работы макроса.

Например, если в файл Keywords.txt будет содержать:

buy
cheap

В итоге макрос подстановок превратит 3 основных запроса в 6:

buy essay
cheap essay
buy article
cheap article
buy thesis
cheap thesis

Варианты вывода результатов

A-Parser поддерживает гибкое форматирование результатов благодаря встроенному шаблонизатору Template Toolkit, что позволяет ему выводить результаты в произвольной форме, а также в структуированной, например CSV или JSON

Экспорт списка подсказок

Формат результата:

$results.format('$suggest\n')

Пример результата:

buy essays online
buy essay cheap
buy essay uk
buy essays online no plagiarism
buy essay papers
buy essay online reviews
buy essays reddit
buy essay friend

Вывод запроса, подсказки по запросу + тип подсказки

Формат результата:

$query:\n$results.format('$suggest - $type\n')

Пример результата:

cheap essay:
cheap essay writing service - 1
cheap essay writing service uk - 1
cheap essay writing service canada - 1
cheap essay writing 24 - 1
cheap essays online - 1
cheap essay writing service reddit - 1
cheap essay writing service australia - 1
cheap essay writing service review - 1
buy essay:
buy essay online - 1
buy essay cheap - 1
buy essay uk - 1
buy essay papers - 1
buy essay online reviews - 1
buy essays reddit - 1
buy essay friend - 1
buy essay online uk - 1

Вывод в таблицу CSV

Встроенная утилита $tools.CSVLine позволяет создавать корректные табличные документы, готовые для импорта в Excel или Google Таблицы.

Общий формат результата:

[% FOREACH i IN p1.results;
tools.CSVline(i.suggest);
END %]

Имя файла:

$datefile.format().csv

Начальный текст:

Подсказки

подсказка

В Общем формате результатов применяется шаблонизатор Template Toolkit для вывода элементов элементов массива $results в цикле FOREACH.

В имени файла результатов нужно просто изменить разрешение файла на csv.

Чтобы опция "Начальный текст" была доступна в Редакторе заданий, нужно активировать "Больше опций". В "Начальный текст" записываем названия столбцов через запятую и второй строку делаем пустой.

Конкуренция ключевых слов

Аналогично как в SE::Google.

Сохранение в формате SQL

Формат результата:

[%  FOREACH results;    "INSERT INTO serp VALUES('" _ query _ "', '";   suggest _ "', '";   type _ "')\n"; END  %]

Пример результата:

INSERT INTO serp VALUES('cheap essay', 'cheap essay writing service', '1')
INSERT INTO serp VALUES('cheap essay', 'cheap essay writing service uk', '1')
INSERT INTO serp VALUES('cheap essay', 'cheap essay writing service canada', '1')
INSERT INTO serp VALUES('cheap essay', 'cheap essay writing 24', '1')
INSERT INTO serp VALUES('buy essay', 'buy essay online', '1')
INSERT INTO serp VALUES('buy essay', 'buy essay cheap', '1')
INSERT INTO serp VALUES('buy essay', 'buy essay uk', '1')
INSERT INTO serp VALUES('buy essay', 'buy essay papers', '1')
...

Дамп результатов в JSON

Общий формат результата:

[% IF notFirst;
",\n";
ELSE;
notFirst = 1;
END;

obj = {};
obj.totalcount = p1.totalcount;
obj.suggests = [];

FOREACH item IN p1.results;
obj.suggests.push(item.suggest);
END;

obj.json %]

Начальный текст:

[

Конечный текст:

]

Пример результата:

[{"suggests":["buy essay online","buy essay cheap","buy essay uk","buy essays online no plagiarism","buy essay papers","buy essay online reviews","buy essays reddit","buy essay friend"],"totalcount":8}]
подсказка

Чтобы опции "Начальный текст" и "Конечный текст" были доступны в Редакторе заданий, нужно активировать "Больше опций".

Обработка результатов

A-Parser позволяет обрабатывать результаты непосредственно во время парсинга, в этом разделе мы привели наиболее популярные кейсы для парсера SE::Google::Suggest

Опция Парсить до уровня (Parse to level)

Опция указывает парсеру пoдставлять полученные результаты в очередь запросов в глубину до указанного уровня, например:

  • Если указан 1-ый уровень то парсер добавит в запросы все результаты, полученные из исходного запроса
  • Если указан 2-ой уровень то парсер добавит в запросы все результаты, полученные из исходного запроса + все результаты, полученные по запросам из 1-го уровня
  • и т.д.

Простыми словами - это подстановка получаемых результатов в очередь запросов, что в свою очередь позволяет спарсить больше результатов. Т.к. в результатах скорее всего будут дубли, то для того чтобы парсер не делал лишнюю работу (не парсил одно и то же), рекомендуется включать уникальность запросов (Unique queries)

Опция Парсить до уровня
Скачать пример

Как импортировать пример в А-Парсер

eJx9VE1v2zAM/SsGkcMGZEF72MW3NFiGDlmd1c0pyEGIaVerLHmSnDQw/N9HKo7t
bEFvpvj4+PFIN+CFe3Nriw69g3jbQBW+IYb0Wxx/N6ZQGMdpXRTofPQlWgvrMPIm
UnhAFeG7KCuFMIWKHZY5trdCCZFhLmpFXw34U4WUwlReGu3IJzMyA8WKeenlIFRN
mPu7doQ/oLUyw0tAZkoh9QCG4/E4K0Li2d6U8EFoMcoBm/Qj6OsYihra3W4KNCXq
xS2NLQVPa1Ldz7rR9c5UHPDFkDOXYUSXGLKeRMlsk0x4ZO8sD0SfPs/8OzOILJM8
G6HOGXiuQ9aNln9CNc5bqQvCk2kluqWlrmPwGEj48XSpcAuTYAPR1CH+1zkGYm9r
nIKjapeCasl6Ry6UI4/0aIU3Nunkihsweq5UkGqABfqHWqqM9mCeU9BjF3gbkvzH
0fYdjlORHEdLNfQswXpIfg5RmVmZghrXhtpWspSebLcwtWZt7ujxDbHqx/bEsNJY
7NN0zF12uocKNWs/qDavhqerNq6UuX7cG53LIun26YKs9QsdXaIXhk+H+9K1UqSK
w+dhQ+auk4GNocB/gxchBd/C5brAG6Pcj/RcamUlbeBXLrCkSY6zdpR7odTmeTX2
wLBRfFQ87gidEydguMfC0B5RM+2uv/v+F9LcvP64aUmm3259RnNPjKU3Go4jDejS
27/f2JZm

Фильтрация результатов (использование минус-слов)

Использовав минус-слова возможно стразу убирать реультаты которые вам не нужны. Аналогично используя фильтр можно и оставлять только те результаты которые содержат нужные слова.

Фильтрация результатов (использование минус-слов)
Скачать пример

Как импортировать пример в А-Парсер

eJx9VE1vGjEQ/SvIQkojpSgcetkbQaFqRUMa4EQ4WOywceO1tx4vFBH+e2e83g9a
xG1n5r2ZNx/ro/AS3/HZAYJHkayOogjfIhHzxyT5am2mIUnmZZYB+t7n3hKhlytT
Ym9vXYriThTSITgmry5xCJHCVpaavo7CHwqg3Lbwyhpmq5TMkGIKO9Dk2UldEmZ4
f+rgd+CcSqEmpDaXyrRgsd/vB1koPNjYXFyhZp0aYjm/Bn3rQsF0oVulPTgK07S4
tWQVv7gnjJ2v7yJuUZEcGOtz6TdvnbwO0lT5D6U1ZFJ/YCGNQgZUMyLENYlb6yhh
FNEm7Ucxgyr+6aYfNb2+mptbcVqva+U4CQjmFMNBXH4TnMsdLGzVL7TuCVlPMg+V
UumBo3Wp24H/wxkkt0UNSF1V4ANpqy6N+h2UonfKZIQn0ynAiaP1JcJDSMLOQ61w
JfrB5rmWgf+z4ojEuxJo7qR2IklL2gS2UiNFFC1Beutm8e6So7BmpHW4uRYW0j+U
Sqd00KMtkb5F4mXI7L8cp6bDbila2t6RhlpoMB5mP1pSaqc2o76Npa61ypUnG8e2
NLyae3K+AxTN1J4YllsHTZUoLxanH7oAwwfSLm1UtK6zLs4Wc+7cWLNV2SweXY0s
zYJejZkZ27zQwG2ZUmtaCsJLeyAjjFtgoxX4L3kcSvA/Xb8Swlur8fu8klo4RQf4
hQXmNMhu1ZhyI7Vevky7EdEeFD8OPO4eIMqDYLiHzNIZUTOndfN+NW/g8eIrlhxP
tKZf+FyhuSfGko+Gg+FHHZ7+As4s2Yc=
подсказка

Смотреть также: Фильтры результатов

Возможные настройки

Название параметраЗначение по умолчаниюОписание
ClientChrome omniboxВыбор источника, который нужно использовать для сбора подсказок (Search page / Chrome omnibox)
Follow suggestsHumanВыбор типа подсказок, которые необходимо подставлять в запросы при использовании Parser to level (All / Synthetic / Human)
Google domainwww.google.comВыбор домена
Search from countryGlobalВыбор страны откуда осуществляется поиск
Interface languageEnglishВыбор языка интерфейса
Remove HTML tagsУдаление HTML тегов