SE::Yandex::Suggest - Парсер поисковых подсказок Yandex
Обзор парсера
Парсер поисковых подсказок по ключевым словам в Яндекс. Благодаря парсеру SE::Yandex::Suggest вы сможете автоматически собирать базы ключей из подсказок поисковой системы Yandex по запросу. Используя парсер SE::Yandex::Suggest можно легко и быстро спарсить подсказки Яндекса по запросу исходя из региона.
Парсер Yandex подсказок решает одну из главных задач SEO, а именно быстрое автоматизированное получение расширенного семанического ядра. Поисковые подсказки google позволяют охватить максимальное количество фраз, а в комплексе с парсером Ключевых Слов Яндекс - 
SE::Yandex::WordStat вы получите максимально целостную семантику, которая поможет привлечь больше органического трафика.
Благодаря многопоточной работе A-Parser'a, скорость обработки запросов может достигать 5700 запросов в минуту, что в среднем позволяет получать до 17000-18000 результатов в минуту.
Вы можете использовать автоматическое размножение запросов, подстановку подзапросов из файлов, перебор цифро-буквенных комбинаций и списков для получения максимально возможного количества результатов. Используя фильтрацию результатов вы можете сразу почистить результат, удалив весь не нужный мусор (использовав минус-слова).
Функционал A-Parser позволяет сохранять настройки парсинга парсера SE::Yandex::Suggest для дальнейшего использования (пресеты), задавать расписание парсинга и многое другое.
Сохранение результатов возможно в том виде и структуре которая вам необходима, благодаря встроенному мощному шаблонизатору Template Toolkit который позволяет применять дополнительную логику к результатам и выводить данные в различных форматах, включая JSON, SQL и CSV.
Собираемые данные
- Количество результатов по запросу
- Подсказки к запросу
- При выборе 2-го способа запроса собираются также дополнительные данные и тип подсказок
Варианты использования
- Сбор баз ключевых слов
Запросы
В качестве запросов необходимо указывать поисковые фразы, например:
форекс
написать реферат
рефераты онлайн
купить машину в Москве
новости
Подстановки запросов
Вы можете использовать встроенные макросы для автоматической подстановки подзапросов из файлов, например мы хотим к кажому запросу добавить какой-то список других слов, укажем несколько основных запросов:
essay
article
thesis
В формате запросов укажем макрос подстановки дополнительных слов из файла Keywords.txt, данный метод позволяет увеличить вариативность запросов многократно:
{subs:Keywords} $query
Данный макрос создаст столько же дополнительных запросов сколько их находится в файле на каждый исходный поисковый запрос, что в сумме даст [количество исходных запросов(домены)] х [количество запросов в файле Keywords] = [общее количество запросов] в результате работы макроса.
Например, если в файл Keywords.txt будет содержать:
buy
cheap
В итоге макрос подстановок превратит 3 основных запроса в 6:
buy essay
cheap essay
buy article
cheap article
buy thesis
cheap thesis
Варианты вывода результатов
A-Parser поддерживает гибкое форматирование результатов благодаря встроенному шаблонизатору Template Toolkit, что позволяет ему выводить результаты в произвольной форме, а также в структуированной, например CSV или JSON
Экспорт списка подсказок
Формат результата:
$results.format('$suggest\n')
Пример результата:
рефераты онлайн бесплатно
рефераты онлайн заказ
рефераты онлайн скачать бесплатно
рефераты онлайн скачать
рефераты онлайн сделать
рефераты онлайн делать
рефераты онлайн найти
рефераты онлайн бесплатно сделать
рефераты онлайн заказать
Вывод запроса, количество найденных подсказок, подсказки по запросу
Формат результата:
$query - $totalcount:\n$results.format('$suggest\n')
Пример результата:
рефераты онлайн - 10:
рефераты онлайн
рефераты онлайн бесплатно
рефераты онлайн заказ
рефераты онлайн скачать бесплатно
рефераты онлайн скачать
рефераты онлайн сделать
рефераты онлайн делать
рефераты онлайн найти
рефераты онлайн бесплатно сделать
рефераты онлайн заказать
Вывод в таблицу CSV
Встроенная утилита $tools.CSVLine позволяет создавать корректные табличные документы, готовые для импорта в Excel или Google Таблицы.
Формат результата:
[% FOREACH i IN results;
tools.CSVline(i.suggest);
END %]
Имя файла:
$datefile.format().csv
Начальный текст:
Подсказки
В Общем формате результатов применяется шаблонизатор Template Toolkit для вывода элементов suggest массива results в цикле FOREACH.
В имени файла результатов нужно просто изменить разрешение файла на csv.
Чтобы опция "Начальный текст" была доступна в Редакторе заданий, нужно активировать "Больше опций". В "Начальный текст" записываем названия столбцов через запятую и второй строку делаем пустой.
Конкуренция ключевых слов
Сохранение в формате SQL
Формат результата:
[% FOREACH results;
"INSERT INTO serp VALUES('" _ query _ "', '"; suggest _ "')\n";
END %]
Пример результата:
INSERT INTO serp VALUES('рефераты онлайн', 'рефераты онлайн')
INSERT INTO serp VALUES('рефераты онлайн', 'рефераты онлайн бесплатно')
INSERT INTO serp VALUES('рефераты онлайн', 'рефераты онлайн заказ')
INSERT INTO serp VALUES('рефераты онлайн', 'рефераты онлайн скачать бесплатно')
INSERT INTO serp VALUES('рефераты онлайн', 'рефераты онлайн скачать')
INSERT INTO serp VALUES('рефераты онлайн', 'рефераты онлайн сделать')
INSERT INTO serp VALUES('рефераты онлайн', 'рефераты онлайн делать')
INSERT INTO serp VALUES('рефераты онлайн', 'рефераты онлайн найти')
...
Дамп результатов в JSON
Общий формат результата:
[% IF notFirst;
",\n";
ELSE;
notFirst = 1;
END;
obj = {};
obj.totalcount = p1.totalcount;
obj.suggests = [];
FOREACH item IN p1.serp;
obj.suggests.push(item.suggest);
END;
obj.json %]
Начальный текст:
[
Конечный текст:
]
Пример результата:
[{"suggests":["рефераты онлайн","рефераты онлайн бесплатно","рефераты онлайн заказ","рефераты онлайн скачать бесплатно","рефераты онлайн скачать","рефераты онлайн сделать","рефераты онлайн делать","рефераты онлайн найти","рефераты онлайн бесплатно сделать","рефераты онлайн заказать"],"totalcount":10}]
Чтобы опции "Начальный текст" и "Конечный текст" были доступны в Редакторе заданий, нужно активировать "Больше опций".
Обработка результатов
A-Parser позволяет обрабатывать результаты непосредственно во время парсинга, в этом разделе мы привели наиболее популярные кейсы для парсера SE::Yandex::Suggest
Опция Парсить до уровня (Parse to level)
Опция указывает парсеру пoдставлять полученные результаты в очередь запросов в глубину до указанного уровня, например:
- Если указан 1-ый уровень то парсер добавит в запросы все результаты, полученные из исходного запроса
- Если указан 2-ой уровень то парсер добавит в запросы все результаты, полученные из исходного запроса + все результаты, полученные по запросам из 1-го уровня
- и т.д.
Простыми словами - это подстановка получаемых результатов в очередь запросов, что в свою очередь позволяет спарсить больше результатов. Т.к. в результатах скорее всего будут дубли, то для того чтобы парсер не делал лишнюю работу (не парсил одно и то же), рекомендуется включать уникальность запросов (Unique queries)
Скачать пример
Как импортировать пример в А-Парсер
eJx1VFtv2jAU/iuVhdRVQggKfVjeKCrSJtZ0pX2YgAe3Pom8OrZnO6woyn/vsRPi
wLoXy+f2nct37Io4at/sgwELzpJkUxEd7iQhDDJaCkeGRFNjwXjzhqzvkuQXlQze
k2Rd5jlY79H5VsQdNGC02oMxnAEaOUM5U6agDrEbyD0VpXcbNBo7auxfLge2Ad1u
5eUVqXuA2nEl7REv1LSCPYiINhnX/y9AmOh4PZnWu92QtMmXIbevRk9Gbf+dcU33
8KR8B1xAVC9RuqdF6IFRB956bOJq5N49AmWM+6KpaDL4Ccasz5L/CTOQCn3xajjY
pVEFqhwEAK88HKvbkEGQCUKUIfZnE0OSjAoLQ2Kx1CXFQti5hTsw1CmTtkNMKqLk
XIgwwOgW8G9LLhjSPc8w6Fsb+LlL+g9G3bXXT4VU/DVYQ4cSpNv0R4xiaqXy4zAE
L7hD2S5UKT0xY1S+AehuZvferVAGujQtcpsdN1qD9LxHyuY6qk7aOKHlVPmqZMbz
tN2lo2cpn/DZpHKhCi3A9yVLIZAWC49xPea2pcELscDz4EVIcfLgnFLCfl83pWrD
cf1ufIEFTrKftYV8pUI8P676Fh9ondKpvDPmjL6wGGRbjmezsT+nN+E+690bfThn
1+F8uQgqCCcL50t0mn5t9TIwewHW0gPxlTnIFe4szq3edT9J999Un/4nSVXjRvy2
D423H5/3RR3yYJFufOr1Bxh5omw=
Фильтрация результатов (использование минус-слов)
Использовав минус-слова возможно стразу убирать реультаты которые вам не нужны. Аналогично используя фильтр можно и оставлять только те результаты которые содержат нужные слова.
Скачать пример
Как импортировать пример в А-Парсер
eJx1VN9vGjEM/leqCKmrVCEoIG33RlGRNrHSFfowAQ+BMyxrLrklOVbE7n+f44S7
g3UvUWx/tr/4R47McftqnwxYcJYliyPL6c4SlsKWF9KxW5ZzY8F484LNHpLkO1cp
vCXJrNjtwHpEhT0yd8gBvfUejBEpoFGkKG+1ybjD2CHknsvCw1pBY9vB/uG6ZUPQ
5VJd37CyETB3Qit7ikecJrAHWUfrdsr/E5CmBt51ew3kVkgH3hrZJYt488kiHba6
jbh5cDKgtEPGmx+N1yyLTr/f92fvI51r0mzovvlDQpeEAd07DWi4rwnUu2sY+rVD
z78mFAKzsXK1OpG2Y6qfr2jebcceVsYZ38Nch6dCrR6j9Mgz6kPKHXjrqRE3bffm
I/A0FT4flyGDn4I664sSv+jlSiMWr0aAHRudocoBBfDKw4ndgrVI9uUsyPdb8GHJ
lksLWG+kOuZIJL20CCw+d9pM4yAkR6bVUEoaghpG8e8LIVMc2eEWnT5Hx/ch039i
lNXzmqlwnH4b5FBFIel++rX2SvVE707FkCITDmU70oXyjemg8hUgr2r26GGZNlCl
iZFjdtzKHJSf3bplw7xWnT3jrC3nyo1WW7Gbxn04IQs1x9WfqpHOcgn+XaqQEtti
4bkej6GNbfBCTfDSeUQpzj4Np7W0X2aBam4Ejt/AE8ywks2sMeSGS/nyPGlavKN1
Op+qB2Mu2keDwRpLNGjsXnO56OzTPvXXV2GJ6EzrBY279ynqFXX2CqzlB+aZOdhp
nFmsW7mqfsPqzzy++ycmxxIn4qd9CmhfPo9FHfbB0gJ3y7/kMN7o
Смотреть также: Фильтры результатов
Возможные настройки
| Название параметра | Значение по умолчанию | Описание |
|---|---|---|
| Region | Россия | Выбор региона откуда осуществляется поиск |
| Request method | Method 1 | Cпособ запроса: Method 1 - старый метод, такой же как и был раньше; Method 2 - новый метод, позволяет собирать все расширенные подсказки (реклама, факты, ссылки на сайты) |