Перейти к основному содержимому

SE::AOL::Suggest - Парсер поисковых подсказок AOL

Обзор парсера

Парсер поисковых подсказок по ключевым словам в AOL. Благодаря парсеру SE::AOL::Suggest вы сможете автоматически собирать базы ключей из подсказок поисковой системы AOL по запросу. Используя парсер SE::AOL::Suggest можно легко и быстро спарсить подсказки AOL по запросу.

Благодаря многопоточной работе A-Parser'a, скорость обработки запросов может достигать 4700 запросов в минуту, что в среднем позволяет получать до 13500-14500 результатов в минуту.

Обзор парсера: скорость работы

Вы можете использовать автоматическое размножение запросов, подстановку подзапросов из файлов, перебор цифро-буквенных комбинаций и списков для получения максимально возможного количества результатов. Используя фильтрацию результатов вы можете сразу почистить результат, удалив весь не нужный мусор (использовав минус-слова).

Функционал A-Parser позволяет сохранять настройки парсинга парсера SE::AOL::Suggest для дальнейшего использования (пресеты), задавать расписание парсинга и многое другое.

Сохранение результатов возможно в том виде и структуре которая вам необходима, благодаря встроенному мощному шаблонизатору Template Toolkit который позволяет применять дополнительную логику к результатам и выводить данные в различных форматах, включая JSON, SQL и CSV.

Собираемые данные

  • Количество результатов по запросу
  • Подсказки к запросу

какие данные собирает парсер SE::AOL::Suggest

Возможности

  • Поддержка всех поисковых операторов AOL (site: и т.д.)
  • Парсит максимальное отдаваемое AOL'ом число результатов - 100 страниц по 20 элементов в выдачи

Варианты использования

  • Сбор баз ключевых слов

Запросы

В качестве запросов необходимо указывать поисковые фразы, например:

write essay
Football
Speak in english
forex
cheap essay

Подстановки запросов

Вы можете использовать встроенные макросы для автоматической подстановки подзапросов из файлов, например мы хотим к кажому запросу добавить какой-то список других слов, укажем несколько основных запросов:

essay
article
thesis

В формате запросов укажем макрос подстановки дополнительных слов из файла Keywords.txt, данный метод позволяет увеличить вариативность запросов многократно:

{subs:Keywords} $query 

Данный макрос создаст столько же дополнительных запросов сколько их находится в файле на каждый исходный поисковый запрос, что в сумме даст [количество исходных запросов(домены)] х [количество запросов в файле Keywords] = [общее количество запросов] в результате работы макроса.

Например, если в файл Keywords.txt будет содержать:

buy
cheap

В итоге макрос подстановок превратит 3 основных запроса в 6:

buy essay
cheap essay
buy article
cheap article
buy thesis
cheap thesis

Варианты вывода результатов

A-Parser поддерживает гибкое форматирование результатов благодаря встроенному шаблонизатору Template Toolkit, что позволяет ему выводить результаты в произвольной форме, а также в структуированной, например CSV или JSON

Экспорт списка подсказок

Аналогично как в SE::Google::Suggest.

Вывод в таблицу CSV

Аналогично как в SE::Google::Suggest.

Сохранение в формате SQL

Формат результата:

[% FOREACH results;
"INSERT INTO serp VALUES('" _ query _ "', '"; suggest _ "')\n";
END %]

Пример результата:

INSERT INTO serp VALUES('write essay', 'write essay for me')
INSERT INTO serp VALUES('write essay', 'write essay')
INSERT INTO serp VALUES('write essay', 'write essay online')
INSERT INTO serp VALUES('write essay', 'write essay for you')
INSERT INTO serp VALUES('write essay', 'write essay free')
INSERT INTO serp VALUES('write essay', 'write essay conclusion')
INSERT INTO serp VALUES('write essay', 'write essay today')
INSERT INTO serp VALUES('write essay', 'write essays for money')
...

Дамп результатов в JSON

Аналогично как в SE::Google::Suggest.

Обработка результатов

A-Parser позволяет обрабатывать результаты непосредственно во время парсинга, в этом разделе мы привели наиболее популярные кейсы для парсера SE::AOL::Suggest

Опция Парсить до уровня (Parse to level)

Аналогично как в SE::Google::Suggest.

Фильтрация результатов (использование минус-слов)

Аналогично как в SE::Google::Suggest.

Возможные настройки