SE::Yandex::Suggest - Парсер поисковых подсказок Yandex
Обзор парсера Yandex Suggest
Парсер поисковых подсказок по ключевым словам в Яндекс. Благодаря парсеру SE::Yandex::Suggest вы сможете автоматически собирать базы ключей из подсказок поисковой системы Yandex по запросу. Используя парсер SE::Yandex::Suggest можно легко и быстро спарсить подсказки Яндекса по запросу исходя из региона.
Парсер Yandex подсказок решает одну из главных задач SEO, а именно быстрое автоматизированное получение расширенного семанического ядра. Поисковые подсказки google позволяют охватить максимальное количество фраз, а в комплексе с парсером Ключевых Слов Яндекс - 
SE::Yandex::WordStat вы получите максимально целостную семантику, которая поможет привлечь больше органического трафика.
Благодаря многопоточной работе A-Parser'a, скорость обработки запросов может достигать 5700 запросов в минуту, что в среднем позволяет получать до 17000 - 18000 результатов в минуту.
Вы можете использовать автоматическое размножение запросов, подстановку подзапросов из файлов, перебор цифро-буквенных комбинаций и списков для получения максимально возможного количества результатов. Используя фильтрацию результатов вы можете сразу почистить результат, удалив весь не нужный мусор (использовав минус-слова).
Функционал A-Parser позволяет сохранять настройки парсинга парсера SE::Yandex::Suggest для дальнейшего использования (пресеты), задавать расписание парсинга и многое другое.
Сохранение результатов возможно в том виде и структуре которая вам необходима, благодаря встроенному мощному шаблонизатору Template Toolkit который позволяет применять дополнительную логику к результатам и выводить данные в различных форматах, включая JSON, SQL и CSV.
Список собираемых данных
- Количество результатов по запросу
- Подсказки к запросу
- При выборе 2-го способа запроса собираются также дополнительные данные и тип подсказок
Варианты использования
- Сбор баз ключевых слов
Примеры запросов
- В качестве запросов необходимо указывать поисковые фразы, например:
форекс
написать реферат
рефераты онлайн
купить машину в Москве
новости
Подстановки запросов
Вы можете использовать встроенные макросы для автоматической подстановки подзапросов из файлов, например мы хотим к кажому запросу добавить какой-то список других слов, укажем несколько основных запросов:
essay
article
thesis
В формате запросов укажем макрос подстановки дополнительных слов из файла Keywords.txt, данный метод позволяет увеличить вариативность запросов многократно:
{subs:Keywords} $query
Данный макрос создаст столько же дополнительных запросов сколько их находится в файле на каждый исходный поисковый запрос, что в сумме даст [количество исходных запросов(домены)] х [количество запросов в файле Keywords] = [общее количество запросов] в результате работы макроса.
Например, если в файл Keywords.txt будет содержать:
buy
cheap
В итоге макрос подстановок превратит 3 основных запроса в 6:
buy essay
cheap essay
buy article
cheap article
buy thesis
cheap thesis
Варианты вывода результатов
A-Parser поддерживает гибкое форматирование результатов благодаря встроенному шаблонизатору Template Toolkit, что позволяет ему выводить результаты в произвольной форме, а также в структуированной, например CSV или JSON
Экспорт списка подсказок
Формат результата:
$results.format('$suggest\n')
Пример результата:
рефераты онлайн бесплатно
рефераты онлайн заказ
рефераты онлайн скачать бесплатно
рефераты онлайн скачать
рефераты онлайн сделать
рефераты онлайн делать
рефераты онлайн найти
рефераты онлайн бесплатно сделать
рефераты онлайн заказать
Вывод запроса, количество найденных подсказок, подсказки по запросу
Формат результата:
$query - $totalcount:\n$results.format('$suggest\n')
Пример результата:
рефераты онлайн - 10:
рефераты онлайн
рефераты онлайн бесплатно
рефераты онлайн заказ
рефераты онлайн скачать бесплатно
рефераты онлайн скачать
рефераты онлайн сделать
рефераты онлайн делать
рефераты онлайн найти
рефераты онлайн бесплатно сделать
рефераты онлайн заказать
Вывод подсказок в таблицу CSV
Встроенный утилита tools.CSVLine позволяет создавать корректные табличные документы, готовые для импорта в Excel или Google Таблицы
Формат результата:
[% FOREACH i IN results; tools.CSVline(i.suggest); END %]
Имя файла:
$datefile.format().csv
Начальный текст:
Подсказки
В Общем формате результатов применяется шаблонизатор Template Toolkit для вывода элементов suggest массива results в цикле FOREACH.
Что такое общий формат результатов.
В имени файла результатов нужно просто изменить разрешение файла на csv.
Чтобы опция "Начальный текст" была доступна в Редакторе заданий, нужно активировать "Больше опций". В "Начальный текст" записываем названия столбцов через запятую и второй строку делаем пустой.
Конкуренция ключевых слов
Сохранение в формате SQL
Формат результата:
[% FOREACH p1.results; "INSERT INTO serp VALUES('" _ query _ "', '"; suggest _ "')\n"; END %]
Пример результата:
INSERT INTO serp VALUES('рефераты онлайн', 'рефераты онлайн')
INSERT INTO serp VALUES('рефераты онлайн', 'рефераты онлайн бесплатно')
INSERT INTO serp VALUES('рефераты онлайн', 'рефераты онлайн заказ')
INSERT INTO serp VALUES('рефераты онлайн', 'рефераты онлайн скачать бесплатно')
INSERT INTO serp VALUES('рефераты онлайн', 'рефераты онлайн скачать')
INSERT INTO serp VALUES('рефераты онлайн', 'рефераты онлайн сделать')
INSERT INTO serp VALUES('рефераты онлайн', 'рефераты онлайн делать')
INSERT INTO serp VALUES('рефераты онлайн', 'рефераты онлайн найти')
...
Дамп результатов в JSON
Формат результата:
[% data = {}; data.totalcount = p1.totalcount; data.suggests = []; FOREACH i IN p1.results; data.suggests.push(i.suggest); END; result = {}; result = data %]
Начальный текст
[% result = {} %]
Конечный текст
[% result.json %]
Пример результата:
{"suggests":["рефераты онлайн","рефераты онлайн бесплатно","рефераты онлайн заказ","рефераты онлайн скачать бесплатно","рефераты онлайн скачать","рефераты онлайн сделать","рефераты онлайн делать","рефераты онлайн найти","рефераты онлайн бесплатно сделать","рефераты онлайн заказать"],"totalcount":10}
Чтобы опции "Начальный текст" и "Конечный текст" были доступны в Редакторе заданий, нужно активировать "Больше опций".
Обработка результатов
A-Parser позволяет обрабатывать результаты непосредственно во время парсинга, в этом разделе мы привели наиболее популярные кейсы для парсера SE::Yandex::Suggest
Опция Парсить до уровня (Parse to level)
Опция указывает парсеру пoдставлять полученные результаты в очередь запросов в глубину до указанного уровня, например:
- Если указан 1-ый уровень то парсер добавит в запросы все результаты, полученные из исходного запроса
- Если указан 2-ой уровень то парсер добавит в запросы все результаты, полученные из исходного запроса + все результаты, полученные по запросам из 1-го уровня
- и т.д.
Простыми словами - это подстановка получаемых результатов в очередь запросов, что в свою очередь позволяет спарсить больше результатов. Т.к. в результатах скорее всего будут дубли, то для того чтобы парсер не делал лишнюю работу (не парсил одно и то же), рекомендуется включать уникальность запросов (Unique queries)
Скачать пример
Как импортировать пример в А-Парсер
eJx1VFtv2jAU/iuRhdRVYohSeFjeKBrSJlZYaR8m4MGrD5FXx85sh1FF+e89xwlJ
WOmL5XP7zncudsE8dy9uZcGBdyzeFCwLdxaz9dc4/sW1gGMcr/MkAeejz9GKWweR
N5GCA6gIjjzNFLA+y8hgCWNzKRQ9BOx5rvBWMP+aAaYwB7BWCgqXAuW9sSn3SCC4
sQNXObn1Ko0bVPZPVz1XgW63+uqalR3AzEuj3QkvcFoQ0RbtZlh+TEDZTtrRaMLK
3a7P6vTzkJ34ZDeDuk2Ncc0P8GioBhnacYpB6Z6noQrBPZD1VMb1wB8JgQshiTZX
VQbqYZv1Scu/gY7zVuoE/VG0EtzcmhTVHgIIKV9PDDesF2SGMHmI/1nFsNjbHPrM
Ids5Ry6iMey5cmiRHiz3xi7rTsYFM3qqVOhi6xbg73KpBM58usegb3XgZZflO4yy
qbCbCufxzyKHBiVId8sfbZQwC5Ng4dpg2Uqm0qPsZibXNJshKl8AsqZt9+SWGgtN
mhq5zo67n4Gm4bdTm2at6qyMs8mcK5+N3stkWS/UyTPXj/jAlnpm6JlQXTpXCqfi
4KHdkKmrx0BCS/D/4FlIgbSal8S8Mcp9X1dUMytxAydEMMVOdrPWkM9cqaeHRdfC
2o1CYZsPx+MhnbeTcB937pU+nONRFAQIpwjn79Z8+6XSM0rpITG4i9iQctf8E82X
U1z8LeKixFH/cavKm/pCvqjDBjucIz7k8g0dHqJw
Фильтрация результатов (использование минус-слов)
Использовав минус-слова возможно стразу убирать реультаты которые вам не нужны. Аналогично используя фильтр можно и оставлять только те результаты которые содержат нужные слова.
Скачать пример
Как импортировать пример в А-Парсер
eJx1VFtv0zAU/iuVNWlMGlWvEuStq6gEKutYuwfU9sFrToKZYwfbKZ1C/jvHl1zK
yot1rt+5uySG6hf9oECD0STaliR3NInI+lMUfacihlMUrYs0BW1673sLxg2oHpxo
lnMgtySnSoOyvttLLmgRQ0ILjlRJzGsOCC2PoBSLrTuLkU+kyqjBwM6MHCkvrNmV
l+i+17+7vtIedLcT1zek6gDmhkmhazyX0xKOwFu04aD6fwJcdcKORtMuduIqRn3I
L9oGyoYLCZH9bbDbeCcFQhrM+fCjA7wrBpPJxL7jD+59dpKDow9/HDN0zNTRg46p
p5+d0XjUUUxah7Gtx7cCo5Fqv6+T1gvXQdvTfNgPI26Ua3qEjfSlQivGUcM9zdwk
YmrAautR3PTNySLQOGY2HuU+gt2DNuqTYL9c5dooJlK0R1Yx0AslMxQbcCBW+Fpn
uCVXjrctLZz/N+9DIqMKwJZjtguKucSNIqFco4Zh/6mRahW2ISqJFDPO3Sa0Zg7+
rmA8xr2dJej0OTheNlm9waiaCruhcKd+K8yhQXHc3epr6xXLpUyxcCGxbM4yZpDX
c1kIO5sBCl8A8qZt99YskwqaMAE5RMe7zUHYBW6nNstb0VkZZ5M5Fx6kSFi6CkdR
WxZig5/DSsylPXVblyg4x6loeGw3ZKbDGCzTJviv89yFwLSa34AYKbn+svap5orh
Bk5tghl2shs1QB4o50+Py66GtBtVn9egcz+TN7fk3smo56/FvXF7ieHIPno5sSEN
pBJ3ERtS7Zu/rvkuy4s/XlRWOOqf+sFb275YW5Rhg7U7zmH1F8zL3Bw=
Смотреть также: Фильтры результатов
Возможные настройки
| Название параметра | Значение по умолчанию | Описание |
|---|---|---|
| Region | Россия | Выбор региона откуда осуществляется поиск |
| Request method | Method 1 | Cпособ запроса: Method 1 - старый метод, такой же как и был раньше; Method 2 - новый метод, позволяет собирать все расширенные подсказки (реклама, факты, ссылки на сайты) |