SE::Google::Suggest - Парсер поисковых подсказок Google
Обзор парсера
Парсер поисковых подсказок по ключевым словам в Гугле. Благодаря парсеру SE::Google::Suggest вы сможете автоматически собирать базы ключей из подсказок поисковой системы Google по запросу. Используя парсер SE::Google::Suggest можно легко и быстро спарсить подсказки Гугла по запросу исходя из выбранной страны, языка или домена.
Парсер Google подсказок решает одну из главных задач SEO, а именно быстрое автоматизированное получение расширенного семанического ядра. Поисковые подсказки google позволяют охватить максимальное количество фраз, а в комплексе с парсером Ключевых Слов Гугл - 
SE::Google::KeywordPlanner вы получите максимально целостную семантику, которая поможет привлечь больше органического трафика.
Благодаря многопоточной работе A-Parser'a, скорость обработки запросов может достигать 6000 запросов в минуту, что в среднем позволяет получать до 45000-46000 результатов в минуту.
Вы можете использовать автоматическое размножение запросов, подстановку подзапросов из файлов, перебор цифро-буквенных комбинаций и списков для получения максимально возможного количества результатов. Используя фильтрацию результатов вы можете сразу почистить результат, удалив весь не нужный мусор (использовав минус-слова).
Функционал A-Parser позволяет сохранять настройки парсинга парсера SE::Google::Suggest для дальнейшего использования (пресеты), задавать расписание парсинга и многое другое.
Сохранение результатов возможно в том виде и структуре которая вам необходима, благодаря встроенному мощному шаблонизатору Template Toolkit который позволяет применять дополнительную логику к результатам и выводить данные в различных форматах, включая JSON, SQL и CSV.
Кейсы по применению парсера
🔗 JS::Google::FromSnippets
Пример работы в JS-парсерах со встроенными парсерами
Собираемые данные
- Количество результатов по запросу
- Подсказки к запросу
- Тип подсказки (0 - человеческая, 1 - искусственная)
Возможности
- Поддерживает выбор страны поиска, домена, языка результатов
- Возможность выбора источника, который нужно использовать для сбора подсказок(опция Client)
- Возможность удалять HTML теги из результатов парсинга(опция Remove HTML tags)
Варианты использования
- Сбор баз ключевых слов
Запросы
В качестве запросов необходимо указывать поисковые фразы, например:
write essay
Football
Waterfall
Speak in english
Cats and dogs
forex
cheap essay
Подстановки запросов
Вы можете использовать встроенные макросы для автоматической подстановки подзапросов из файлов, например мы хотим к кажому запросу добавить какой-то список других слов, укажем несколько основных запросов:
essay
article
thesis
В формате запросов укажем макрос подстановки дополнительных слов из файла Keywords.txt, данный метод позволяет увеличить вариативность запросов многократно:
{subs:Keywords} $query
Данный макрос создаст столько же дополнительных запросов сколько их находится в файле на каждый исходный поисковый запрос, что в сумме даст [количество исходных запросов(домены)] х [количество запросов в файле Keywords] = [общее количество запросов] в результате работы макроса.
Например, если в файл Keywords.txt будет содержать:
buy
cheap
В итоге макрос подстановок превратит 3 основных запроса в 6:
buy essay
cheap essay
buy article
cheap article
buy thesis
cheap thesis
Варианты вывода результатов
A-Parser поддерживает гибкое форматирование результатов благодаря встроенному шаблонизатору Template Toolkit, что позволяет ему выводить результаты в произвольной форме, а также в структуированной, например CSV или JSON
Экспорт списка подсказок
Формат результата:
$results.format('$suggest\n')
Пример результата:
buy essays online
buy essay cheap
buy essay uk
buy essays online no plagiarism
buy essay papers
buy essay online reviews
buy essays reddit
buy essay friend
Вывод запроса, подсказки по запросу + тип подсказки
Формат результата:
$query:\n$results.format('$suggest - $type\n')
Пример результата:
cheap essay:
cheap essay writing service - 1
cheap essay writing service uk - 1
cheap essay writing service canada - 1
cheap essay writing 24 - 1
cheap essays online - 1
cheap essay writing service reddit - 1
cheap essay writing service australia - 1
cheap essay writing service review - 1
buy essay:
buy essay online - 1
buy essay cheap - 1
buy essay uk - 1
buy essay papers - 1
buy essay online reviews - 1
buy essays reddit - 1
buy essay friend - 1
buy essay online uk - 1
Вывод в таблицу CSV
Встроенная утилита $tools.CSVLine позволяет создавать корректные табличные документы, готовые для импорта в Excel или Google Таблицы.
Общий формат результата:
[% FOREACH i IN p1.results;
tools.CSVline(i.suggest);
END %]
Имя файла:
$datefile.format().csv
Начальный текст:
Подсказки
В Общем формате результатов применяется шаблонизатор Template Toolkit для вывода элементов элементов массива $results в цикле FOREACH.
В имени файла результатов нужно просто изменить разрешение файла на csv.
Чтобы опция "Начальный текст" была доступна в Редакторе заданий, нужно активировать "Больше опций". В "Начальный текст" записываем названия столбцов через запятую и второй строку делаем пустой.
Конкуренция ключевых слов
Сохранение в формате SQL
Формат результата:
[% FOREACH results; "INSERT INTO serp VALUES('" _ query _ "', '"; suggest _ "', '"; type _ "')\n"; END %]
Пример результата:
INSERT INTO serp VALUES('cheap essay', 'cheap essay writing service', '1')
INSERT INTO serp VALUES('cheap essay', 'cheap essay writing service uk', '1')
INSERT INTO serp VALUES('cheap essay', 'cheap essay writing service canada', '1')
INSERT INTO serp VALUES('cheap essay', 'cheap essay writing 24', '1')
INSERT INTO serp VALUES('buy essay', 'buy essay online', '1')
INSERT INTO serp VALUES('buy essay', 'buy essay cheap', '1')
INSERT INTO serp VALUES('buy essay', 'buy essay uk', '1')
INSERT INTO serp VALUES('buy essay', 'buy essay papers', '1')
...
Дамп результатов в JSON
Общий формат результата:
[% IF notFirst;
",\n";
ELSE;
notFirst = 1;
END;
obj = {};
obj.totalcount = p1.totalcount;
obj.suggests = [];
FOREACH item IN p1.results;
obj.suggests.push(item.suggest);
END;
obj.json %]
Начальный текст:
[
Конечный текст:
]
Пример результата:
[{"suggests":["buy essay online","buy essay cheap","buy essay uk","buy essays online no plagiarism","buy essay papers","buy essay online reviews","buy essays reddit","buy essay friend"],"totalcount":8}]
Чтобы опции "Начальный текст" и "Конечный текст" были доступны в Редакторе заданий, нужно активировать "Больше опций".
Обработка результатов
A-Parser позволяет обрабатывать результаты непосредственно во время парсинга, в этом разделе мы привели наиболее популярные кейсы для парсера SE::Google::Suggest
Опция Парсить до уровня (Parse to level)
Опция указывает парсеру пoдставлять полученные результаты в очередь запросов в глубину до указанного уровня, например:
- Если указан 1-ый уровень то парсер добавит в запросы все результаты, полученные из исходного запроса
- Если указан 2-ой уровень то парсер добавит в запросы все результаты, полученные из исходного запроса + все результаты, полученные по запросам из 1-го уровня
- и т.д.
Простыми словами - это подстановка получаемых результатов в очередь запросов, что в свою очередь позволяет спарсить больше результатов. Т.к. в результатах скорее всего будут дубли, то для того чтобы парсер не делал лишнюю работу (не парсил одно и то же), рекомендуется включать уникальность запросов (Unique queries)
Скачать пример
Как импортировать пример в А-Парсер
eJx9VE1v2zAM/SsGkcMGZEF72MW3NFiGDlmd1c0pyEGIaVerLHmSnDQw/N9HKo7t
bEFvpvj4+PFIN+CFe3Nriw69g3jbQBW+IYb0Wxx/N6ZQGMdpXRTofPQlWgvrMPIm
UnhAFeG7KCuFMIWKHZY5trdCCZFhLmpFXw34U4WUwlReGu3IJzMyA8WKeenlIFRN
mPu7doQ/oLUyw0tAZkoh9QCG4/E4K0Li2d6U8EFoMcoBm/Qj6OsYihra3W4KNCXq
xS2NLQVPa1Ldz7rR9c5UHPDFkDOXYUSXGLKeRMlsk0x4ZO8sD0SfPs/8OzOILJM8
G6HOGXiuQ9aNln9CNc5bqQvCk2kluqWlrmPwGEj48XSpcAuTYAPR1CH+1zkGYm9r
nIKjapeCasl6Ry6UI4/0aIU3Nunkihsweq5UkGqABfqHWqqM9mCeU9BjF3gbkvzH
0fYdjlORHEdLNfQswXpIfg5RmVmZghrXhtpWspSebLcwtWZt7ujxDbHqx/bEsNJY
7NN0zF12uocKNWs/qDavhqerNq6UuX7cG53LIun26YKs9QsdXaIXhk+H+9K1UqSK
w+dhQ+auk4GNocB/gxchBd/C5brAG6Pcj/RcamUlbeBXLrCkSY6zdpR7odTmeTX2
wLBRfFQ87gidEydguMfC0B5RM+2uv/v+F9LcvP64aUmm3259RnNPjKU3Go4jDejS
27/f2JZm
Фильтрация результатов (использование минус-слов)
Использовав минус-слова возможно стразу убирать реультаты которые вам не нужны. Аналогично используя фильтр можно и оставлять только те результаты которые содержат нужные слова.
Скачать пример
Как импортировать пример в А-Парсер
eJx9VE1vGjEQ/SvIQkojpSgcetkbQaFqRUMa4EQ4WOywceO1tx4vFBH+e2e83g9a
xG1n5r2ZNx/ro/AS3/HZAYJHkayOogjfIhHzxyT5am2mIUnmZZYB+t7n3hKhlytT
Ym9vXYriThTSITgmry5xCJHCVpaavo7CHwqg3Lbwyhpmq5TMkGIKO9Dk2UldEmZ4
f+rgd+CcSqEmpDaXyrRgsd/vB1koPNjYXFyhZp0aYjm/Bn3rQsF0oVulPTgK07S4
tWQVv7gnjJ2v7yJuUZEcGOtz6TdvnbwO0lT5D6U1ZFJ/YCGNQgZUMyLENYlb6yhh
FNEm7Ucxgyr+6aYfNb2+mptbcVqva+U4CQjmFMNBXH4TnMsdLGzVL7TuCVlPMg+V
UumBo3Wp24H/wxkkt0UNSF1V4ANpqy6N+h2UonfKZIQn0ynAiaP1JcJDSMLOQ61w
JfrB5rmWgf+z4ojEuxJo7qR2IklL2gS2UiNFFC1Beutm8e6So7BmpHW4uRYW0j+U
Sqd00KMtkb5F4mXI7L8cp6bDbila2t6RhlpoMB5mP1pSaqc2o76Npa61ypUnG8e2
NLyae3K+AxTN1J4YllsHTZUoLxanH7oAwwfSLm1UtK6zLs4Wc+7cWLNV2SweXY0s
zYJejZkZ27zQwG2ZUmtaCsJLeyAjjFtgoxX4L3kcSvA/Xb8Swlur8fu8klo4RQf4
hQXmNMhu1ZhyI7Vevky7EdEeFD8OPO4eIMqDYLiHzNIZUTOndfN+NW/g8eIrlhxP
tKZf+FyhuSfGko+Gg+FHHZ7+As4s2Yc=
Смотреть также: Фильтры результатов
Возможные настройки
| Название параметра | Значение по умолчанию | Описание |
|---|---|---|
| Client | Chrome omnibox | Выбор источника, который нужно использовать для сбора подсказок (Search page / Chrome omnibox) |
| Follow suggests | Human | Выбор типа подсказок, которые необходимо подставлять в запросы при использовании Parser to level (All / Synthetic / Human) |
| Google domain | www.google.com | Выбор домена |
| Search from country | Global | Выбор страны откуда осуществляется поиск |
| Interface language | English | Выбор языка интерфейса |
| Remove HTML tags | ☑ | Удаление HTML тегов |