Представление результатов

A-Parser создавался для парсинга информации любых видов, для этого было введено 2 типа результатов:

• Простые результаты(Flat)
• Массивы результатов(Array)

Рассмотрим каждый тип на примере парсера SE::Google, скриншот выдачи:

Простые результаты(top)

Простые результаты - когда одному запросу соответствует один результат, примеры:

• Количество результатов по запросу ($totalcount)
• Является ли запрос опечаткой($misspell, на скриншоте не представлен)

Другие примеры:

• Значение PageRank($pr) в парсере SE::Google::pR
• Значение тИЦ($tic) в парсере SE::Yandex::TIC
• Количество ссылающихся доменов($domains), IP адресов($ips), беклинков($backlinks) и т.д. в парсере Rank::MajesticSEO

Одиночные результаты сохраняются в обычных переменных(префикс $ + название на латинице)

Массивы результатов(top)

Массивы результатов - когда одному запросу соответствует список результатов, каждый элемент списка в свою очередь может содержать несколько вложенных элементов. Разберем на примере выдачи Google - она представлена в парсере массивом $serp, для наглядности воспользуемся таблицей, запишем первые 5 результатов выдачи:
Каждая позиция выдачи записывается в массив с 3мя вложенными элементами - ссылка($link), анкор($anchor), сниппет($snippet)
Другой пример - список связанных ключевых слов, который сохраняется в массиве $related:
Как видно в данном массиве всего один вложенный элемент - кейворд($key)
Нумерация элементов массивов начинается с 0, пример доступа к отдельным элементам массива:

• $serp.0.link - первая ссылка из выдачи
• $serp.3.anchor - четвертый анкор из выдачи
• $related.0.key - первый связанный кейворд

Более подробно про форматирование простых результатов и массивов будет описано ниже

Просмотр возможных результатов(top)

Каждый парсер имеет свой набор результатов, просмотреть список доступных результатов можно наведя на парсер указателем, в всплывающей подсказке будет отображен список простых результатов и массивов, со списком вложенных элементов:Желтым отмечены результаты общие для всех парсеров:

• $query - запрос переданный парсеру после форматирования
• $query.orig - оригинальный запрос(в том виде как он был в файле или в поле ввода запросов)
• $query.first - первый запрос при использовании опций вложенного парсинга(Parse all results или Parse to level)
• $info.success - информация об успешности парсинга данного запроса
• $info.retries - количество использованных попыток для данного запроса
• $info.stats - статистика работы парсера для данного запроса
• $pages.$i.data - массив с необработанными ответами от сервера для возможности самостоятельного извлечения дополнительной информации

Зеленым отмечены результаты доступные только для парсера SE::Google:

• $related.$i.key - массив со списком связанных ключевых слов
• $ads с элементами $link, $anchor и $snippet - массив со списком объявлений
• $serp с элементами $link, $anchor и $snippet - массив с основной выдачей поисковика

Обратите внимание что для массивов явно указывается переменная $i, означающая что элементов несколько и к ним можно обратиться по индексу(номеру позиции) или перебирать каждый элемент в цикле

Также доступна переменная $response, которая позволяет получать любые переменные запроса, включая все предыдущие редиректы.

Базовые принципы форматирования(top)

После того как парсер собрал данные в простых результатах и массивах, их необходимо отобразить(сохранить в файл) в нужном формате. Для удобства и функциональности в A-Parser'е используется Шаблонизатор Template Toolkit. Разберем часто используемые конструкции, для этого воспользуемся инструментом Тестирование шаблонов. Выберем проект для парсера SE::Google:

На скриншоте представлены 3 поля:

• JSON - внутреннее представление данных в парсере
• Template - шаблон, по которому происходит форматирование результата
• Результат - непосредственно преобразованные данные по указанному шаблону, именно в таком виде результат будет записан в файл

Изменяя шаблон мы можем менять вид результата, рассмотрим следующий шаблон:

Выделим основные правила:

• Обычный текст выводится в результат как есть, без изменений
• Для вывода простых результатов необходимо в нужном месте вывести переменную содержащую нужный результат с префиксом $
• Для форматирования массивов используется метод format, о нем немного ниже
• \n отвечает за перенос строки

Форматирование массивов, разберем конструкцию: Данная запись означает что для массива $serp необходимо вызвать метод format с параметром '$link $anchor\n$snippet\n\n'. Метод format соединяет в строку все элементы массива по шаблону, указанному в параметре, сам шаблон означает Для каждого элемента массива $serp вывести ссылку и анкор через пробел, затем с новой строки вывести сниппет, после чего идет еще два переноса строки, в результате образующих пустую строку между результатами

Вывод значений переменных в JSON:
Метод .json позволяет выводить данные в JSON формате:


Примеры
Вывод конкуренции по запросу(количества результатов по запросу) для всех парсеров поисковых систем( SE::Google, SE::Yandex...): Результат:
Вывод ссылок с выдачи поисковых систем: Результат:
Вывод подсказок поисковых систем: Результат:
Вывод статистики по ключевому слову используя парсер SE::Yandex::WordStat: