-
Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 800+ и мы растем!Скрыть объявление
Форматирование и подстановки запросов
-
Содержание
Формат запроса - позволяет добавлять подстановки и форматировать запрос к нужному виду используя шаблоны, применяется для каждого запроса
Существует 2 способа указать шаблон:
- Общий формат запросов, он обрабатывается первым и поддерживает подстановки
- Формат запроса для каждого парсера - позволяет задать специфичный формат для отдельных парсеров
Общий формат запроса задан в виде
Формат запроса для парсера 1 остался неизменным, парсер 1 будет парсить запрос http://google.comФормат запроса для парсера 2 выглядит следующим образом:
Шаблоны в запросах(top)
В формате запроса полноценно поддерживается Шаблонизатор Template Toolkit, в качестве переменных доступны:
- $query - запрос после форматирования через общий формат результата
- $query.num - порядковый номер запроса
- $query.lvl - уровень вложенности запроса при использовании опций Parse to level или Parse all results
- $query.orig - исходный запрос до форматирования
- $query.first - первый запрос при использовании опций Parse to level или Parse all results
- $query.prev - показывает запрос который был на предыдущем уровне, работает для HTML::LinkExtractor, tools.query.add и JS парсеров (this.query.add)
- Все переменные, созданные через Конструктор запросов
Макросы подстановок(top)
Общий формат запроса поддерживает следующие макросы:
Макросы подстановок можно комбинировать, комплексный пример:
Общее число запросов будет соответствовать перемножению возможных комбинаций:1 запрос(viagra) x 3 зоны({subs:zones}) x 676 символьных вариаций({az:aa:zz}) = 2028 запросов
violentycat, Support Денис, vipuncle и 2 другим нравится это.