Перейти к основному содержимому

SE::AOL::Suggest - Парсер поисковых подсказок AOL

Обзор парсера AOL Suggest#

Парсер поисковых подсказок по ключевым словам в AOL. Благодаря парсеру SE::AOL::Suggest вы сможете автоматически собирать базы ключей из подсказок поисковой системы AOL по запросу. Используя парсер SE::AOL::Suggest можно легко и быстро спарсить подсказки AOL по запросу.

Благодаря многопоточной работе A-Parser'a, скорость обработки запросов может достигать 4700 запросов в минуту, что в среднем позволяет получать до 13500 - 14500 результатов в минуту.

скорость работы парсера SE::AOL::Suggest

Вы можете использовать автоматическое размножение запросов, подстановку подзапросов из файлов, перебор цифро-буквенных комбинаций и списков для получения максимально возможного количества результатов. Используя фильтрацию результатов вы можете сразу почистить результат, удалив весь не нужный мусор (использовав минус-слова).

Функционал A-Parser позволяет сохранять настройки парсинга парсера SE::AOL::Suggest для дальнейшего использования (пресеты), задавать расписание парсинга и многое другое.

Сохранение результатов возможно в том виде и структуре которая вам необходима, благодаря встроенному мощному шаблонизатору Template Toolkit который позволяет применять дополнительную логику к результатам и выводить данные в различных форматах, включая JSON, SQL и CSV.

Список собираемых данных#

  • Количество результатов по запросу
  • Подсказки к запросу

какие данные собирает парсер SE::AOL::Suggest

Возможности#

  • Поддержка всех поисковых операторов AOL (site: и т.д.)
  • Парсит максимальное отдаваемое AOL'ом число результатов - 100 страниц по 20 элементов в выдачи

Варианты использования#

  • Сбор баз ключевых слов

Примеры запросов#

  • В качестве запросов необходимо указывать поисковые фразы, например:
write essay
Football
Speak in english
forex
cheap essay

Подстановки запросов#

Вы можете использовать встроенные макросы для автоматической подстановки подзапросов из файлов, например мы хотим к кажому запросу добавить какой-то список других слов, укажем несколько основных запросов:

essay
article
thesis

В формате запросов укажем макрос подстановки дополнительных слов из файла Keywords.txt, данный метод позволяет увеличить вариативность запросов многократно:

{subs:Keywords} $query

Данный макрос создаст столько же дополнительных запросов сколько их находится в файле на каждый исходный поисковый запрос, что в сумме даст [количество исходных запросов(домены)] х [количество запросов в файле Keywords] = [общее количество запросов] в результате работы макроса.

Например, если в файл Keywords.txt будет содержать:

buy
cheap

В итоге макрос подстановок превратит 3 основных запроса в 6:

buy essay
cheap essay
buy article
cheap article
buy thesis
cheap thesis

Варианты вывода результатов#

A-Parser поддерживает гибкое форматирование результатов благодаря встроенному шаблонизатору Template Toolkit, что позволяет ему выводить результаты в произвольной форме, а также в структуированной, например CSV или JSON

Экспорт списка подсказок#

Аналогично как в SE::Google::Suggest.

Вывод подсказок в таблицу CSV#

Аналогично как в SE::Google::Suggest.

Сохранение в формате SQL#

Формат результата:

[% FOREACH p1.results; "INSERT INTO serp VALUES('" _ query _ "', '"; suggest _ "')\n"; END %]

Пример результата:

INSERT INTO serp VALUES('write essay', 'write essay for me')
INSERT INTO serp VALUES('write essay', 'write essay')
INSERT INTO serp VALUES('write essay', 'write essay online')
INSERT INTO serp VALUES('write essay', 'write essay for you')
INSERT INTO serp VALUES('write essay', 'write essay free')
INSERT INTO serp VALUES('write essay', 'write essay conclusion')
INSERT INTO serp VALUES('write essay', 'write essay today')
INSERT INTO serp VALUES('write essay', 'write essays for money')
...

Дамп результатов в JSON#

Аналогично как в SE::Google::Suggest.

Обработка результатов#

A-Parser позволяет обрабатывать результаты непосредственно во время парсинга, в этом разделе мы привели наиболее популярные кейсы для парсера SE::AOL::Suggest

Опция Парсить до уровня (Parse to level)#

Аналогично как в SE::Google::Suggest.

Фильтрация результатов (использование минус-слов)#

Аналогично как в SE::Google::Suggest.

Возможные настройки#

Последнее обновление