SE::AOL::Suggest - Парсер поисковых подсказок AOL
Обзор парсера
Парсер поисковых подсказок по ключевым словам в AOL. Благодаря парсеру SE::AOL::Suggest вы сможете автоматически собирать базы ключей из подсказок поисковой системы AOL по запросу. Используя парсер SE::AOL::Suggest можно легко и быстро спарсить подсказки AOL по запросу.
Благодаря многопоточной работе A-Parser'a, скорость обработки запросов может достигать 4700 запросов в минуту, что в среднем позволяет получать до 13500-14500 результатов в минуту.
Вы можете использовать автоматическое размножение запросов, подстановку подзапросов из файлов, перебор цифро-буквенных комбинаций и списков для получения максимально возможного количества результатов. Используя фильтрацию результатов вы можете сразу почистить результат, удалив весь не нужный мусор (использовав минус-слова).
Функционал A-Parser позволяет сохранять настройки парсинга парсера SE::AOL::Suggest для дальнейшего использования (пресеты), задавать расписание парсинга и многое другое.
Сохранение результатов возможно в том виде и структуре которая вам необходима, благодаря встроенному мощному шаблонизатору Template Toolkit который позволяет применять дополнительную логику к результатам и выводить данные в различных форматах, включая JSON, SQL и CSV.
Собираемые данные
- Количество результатов по запросу
- Подсказки к запросу
Возможности
- Поддержка всех поисковых операторов AOL (site: и т.д.)
- Парсит максимальное отдаваемое AOL'ом число результатов - 100 страниц по 20 элементов в выдачи
Варианты использования
- Сбор баз ключевых слов
Запросы
В качестве запросов необходимо указывать поисковые фразы, например:
write essay
Football
Speak in english
forex
cheap essay
Подстановки запросов
Вы можете использовать встроенные макросы для автоматической подстановки подзапросов из файлов, например мы хотим к кажому запросу добавить какой-то список других слов, укажем несколько основных запросов:
essay
article
thesis
В формате запросов укажем макрос подстановки дополнительных слов из файла Keywords.txt, данный метод позволяет увеличить вариативность запросов многократно:
{subs:Keywords} $query
Данный макрос создаст столько же дополнительных запросов сколько их находится в файле на каждый исходный поисковый запрос, что в сумме даст [количество исходных запросов(домены)] х [количество запросов в файле Keywords] = [общее количество запросов] в результате работы макроса.
Например, если в файл Keywords.txt будет содержать:
buy
cheap
В итоге макрос подстановок превратит 3 основных запроса в 6:
buy essay
cheap essay
buy article
cheap article
buy thesis
cheap thesis
Варианты вывода результатов
A-Parser поддерживает гибкое форматирование результатов благодаря встроенному шаблонизатору Template Toolkit, что позволяет ему выводить результаты в произвольной форме, а также в структуированной, например CSV или JSON
Экспорт списка подсказок
Аналогично как в SE::Google::Suggest.
Вывод в таблицу CSV
Аналогично как в SE::Google::Suggest.
Сохранение в формате SQL
Формат результата:
[% FOREACH results;
"INSERT INTO serp VALUES('" _ query _ "', '"; suggest _ "')\n";
END %]
Пример результата:
INSERT INTO serp VALUES('write essay', 'write essay for me')
INSERT INTO serp VALUES('write essay', 'write essay')
INSERT INTO serp VALUES('write essay', 'write essay online')
INSERT INTO serp VALUES('write essay', 'write essay for you')
INSERT INTO serp VALUES('write essay', 'write essay free')
INSERT INTO serp VALUES('write essay', 'write essay conclusion')
INSERT INTO serp VALUES('write essay', 'write essay today')
INSERT INTO serp VALUES('write essay', 'write essays for money')
...
Дамп результатов в JSON
Аналогично как в SE::Google::Suggest.
Обработка результатов
A-Parser позволяет обрабатывать результаты непосредственно во время парсинга, в этом разделе мы привели наиболее популярные кейсы для парсера SE::AOL::Suggest
Опция Парсить до уровня (Parse to level)
Аналогично как в SE::Google::Suggest.
Фильтрация результатов (использование минус-слов)
Аналогично как в SE::Google::Suggest.