Форматирование результатов
-
Для форматирования результатов в A-Parser'е применяется Шаблонизатор Template Toolkit, что позволяет легко сохранять результаты парсинга в различных форматах:
- В текстовых файлах списком: по одному результату на строку, через разделитель, в произвольном формате
- В файлах CSV с возможностью дальнейшего импорта в Excel, Google Docs и т.п.
- В XML, JSON и других форматах хранения данных
- В HTML на лету генерируя страницы
- В формате SQL дампов для прямого импорта в базу данных
- В бинарном формате для сохранения изображений(jpg, png, gif, ...), документов(pdf, docx, ...), исполняемых файлов и архивов(exe, dmg, zip, ...) и любых других типов данных
Редактирование формата результата(top)
Формат результата - позволяет форматировать результаты к нужному виду используя шаблоны, применяется для каждой комбинации запрос-результаты
- Общий формат результата задается в поле Формат результата
- Формат результата для каждого парсера отдельно можно задать в настройках парсера в Result format
- $p1 - результаты от первого парсера(
SE::Google на скриншоте), $p2 - результаты от второго парсера(
SE::Bing на скриншоте)
- Порядковый номер парсера отображается слева от поля выбора парсера
- $p1.preset и $p2.preset подразумевает что необходимо взять значение формата результата из настроек соответствующих парсеров
- В данном примере $p1.preset можно заменить на $p1.serp.format('$link\n') что будет иметь одинаковый эффект, при этом формат результата из настроек уже использоваться не будет
Формат результата можно указывать в удобном многострочном редакторе кликнув по соответствующей иконке в поле редактирования:
В общем формате результатов доступны следующие переменные:
- $query - запрос после форматирования
- $query.* - все переменные относящиеся к запросу, описаны в статье Шаблоны в запросах
- $p1, $p2, ... - переменные для доступа к результатам парсинга для каждого парсера отдельно(Просмотр возможных результатов для каждого парсера)
- $p1.query, $p2.query, ... - запросы после форматирования с учетом формата запроса указанного в настройках каждого парсера
Начальный и конечный текст(top)
Для каждого файла результатов указывается отдельный Начальный/Конечный текст:
- Для формирования шапки CSV файла
- Для начальных и конечных тегов XML файла
- Для хедера, шапки и футера HTML файлов
- Для любых других вариантов применения
в нижней части Редактора заданий
В начальном и конечном тексте поддерживается использование шаблонизатора Template Toolkit, доступные переменные:
- $query - запрос после форматирования
- $query.* - все переменные относящиеся к запросу, описаны в статье Шаблоны в запросах
Формат имени файла результатов(top)
A-Parser позволяет использовать шаблоны также в именах результирующих файлов, что позволяет автоматически создавать файлы и папки на основе текущей даты, по порядковому номеру запроса, по самому запросу и в любом другом формате
В поле Имя файла поддерживаются следующие переменные:
- Все переменные доступные для Общего формата результата
- $queriesfile - путь и имя файла с запросами, если запросы указаны через форму то будет содержать queries_from_text.txt
- $datefile - объект плагина date шаблонизатора Template Toolkit, настроенный на формат даты %b-%d_%H-%M-%S, при форматировании выдаёт текущее время и дату в виде May-08_20-08-38, формат возможно изменить в Дополнительных настройках
Комплексный примерКод:reports/$queriesfile/${query}.txt
- Будет создана папка reports
- Будет создана подпапка с именем файла запросов
- В подпапке будет создано столько файлов сколько запросов используется в задании, в качестве имени файла будет использоваться сам запрос с расширением .txt