Отладка заданий

Тестирование шаблонов

Подробнее о Тестировании шаблонов

Тест задания

Тестировщик заданий позволяет тестировать весь пресет полностью, включая несколько парсеров и Конструкторы. Весь процесс работы можно проконтролировать благодаря отображению логов для каждого потока и просмотру результатов. Все данные обновляются в режиме реального времени.

В интерфейсе тестировщика заданий доступна следующая информация:

• Запросы заверш./всего
  • Информация о запросах, количество завершенных, общее количество запросов
  • Максимальное количество потоков - 5
  • Максимальное количество запросов - 10
• Текущий запрос
• Количество неудачных запросов
• Выбор лимита запросов
• Лог каждого из 5 потоков, в них можно найти полную инфомрацию о запросах и ошибках
• Поле результата парсинга
  • Если используется несколько файлов результатов - отображается содержимое каждого файла

Тестовый парсинг

На вкладке Тестовый парсинг, есть возможность тестового парсинга для создания и отладки работы собственных пресетов. В отличии от Редактора заданий, здесь нет возможности использовать конструкторы запросов и результатов, использовать несколько парсеров, не поддерживаются макросы, нет многоуровневого парсинга и других возможностей, которые поддерживаются в редакторе заданий.

Раздел создан по принципу модульного теста, в котором можно тестировать отдельные парсеры. Весь процесс работы выводиться в виде лога, это позволяет получать подробную информацию работы парсера (пресета), начиная от отправки запроса и до получения результатов:

В "Тестовом парсинге" существует область быстрых настроек: отключение автоскрола и включение debug режима

По умолчанию "австоскрол" включен - это означает, что по мере вывода информации в лог, мы автоматически будем перемещаться вниз

Когда "автоскрол" выключен пиктограмма меняет свой вид - это означает, что по мере вывода информации в лог, мы будем оставаться на месте, автоматического перемещения вниз не будет

По умолчанию, режим debug отключен - это означает, что в лог будет выводиться общая информация по парсингу.

Когда мы активируем режим debug, пиктограмма меняет свой вид и в лог будет выводиться подробная информация по парсингу.

В окне лога с включенным debug режимом мы видим подробную информацию по парсингу:

В части запроса мы можем увидеть:

• Название запроса
• Строку запроса, которая отправляется на сервер
• Список параметров которые отправляются вместе с запросом (заголовки, кодировка, фильтры и т.д)

В части ответа, который мы получаем от сервера, мы видим следующую информацию:

• See in debug window - ссылка на окно, где отображаются страница полученная в результате запроса

  

• See full data - ссылка на окно с исходным кодом, полученным в результате запроса

  

• Go to Regex Builder - ссылка на Конструктор регулярных выражений с исходным кодом, полученным в результате запроса

Если режим "автоскрола" создан больше для удобства просмотра, то режим "debug" это незаменимый инструмент для отладки собственных парсеров и пресетов. Анализируя информацию полученную с лога в режиме "debug", мы можем увидеть на каком этапе и что происходит во время выполнение задания, как формируется запрос и что парсер получает в ответ.