Отладка заданий | Документация | A-Parser - парсер для SEO, маркетинга, разработчиков и SaaS
Перейти к основному содержимому

Отладка заданий

Тестирование шаблонов

Тестирование шаблонов.

Тест задания

Тестировщик заданий позволяет тестировать весь пресет полностью, включая несколько парсеров и Конструкторы. Весь процесс работы можно проконтролировать благодаря отображению логов для каждого потока и просмотру результатов. Все данные обновляются в режиме реального времени.

img

В интерфейсе тестировщика заданий доступна следующая информация:

  • Запросы заверш./всего
    • Информация о запросах, кол-во завершенных, общее кол-во запросов
    • Максимальное кол-во потоков - 5
    • Максимальное кол-во запросов - 10
  • Текущий запрос
  • Кол-во неудачных
  • Выбор лимита запросов
  • Лог каждого из 5 потоков, в них можно найти полную инфомрацию о запросах и ошибках
  • Поле результата парсинга
    • Если используется несколько файлов результатов - отображается содержимое каждого файла

img

Тестовый парсинг

В A-Parser на вкладке Тестовый парсинг, есть возможность тестового парсинга для создания и отладки работы собственных пресетов. В отличии от Редактора заданий, здесь нет возможности использовать конструкторы запросов и результатов, использовать несколько парсеров, не поддерживаются макросы, нет многоуровневого парсинга и других возможностей, которые поддерживаются в редакторе заданий.

Раздел создан по принципу модульного теста, в котором можно тестировать отдельные парсеры. Весь процесс работы выводиться в виде лога, это позволяет получать подробную информацию работы парсера(пресета), начиная от отправки запроса и до получения результатов:

img

Создание тестового пресета

  • Выбор парсера

img

  • Поле для запроса

img

  • Настройки парсера

img

  • по умолчанию выбран пресет "default", есть возможность выбрать ранее сохраненный пресет из списка

  • дополнительные настройки - список дополнительных настроек, идентичный тем, которые размещены в Редакторе заданий. Позволяют использовать фильтры, уникализацию, переопределять настройки пресета и т.д.

Область быстрых настроек

В "Тестовом парсинге" существует область быстрых настроек: отключение автоскрола и включение debug режима

  • По умолчанию "австоскрол" включен - это означает, что по мере вывода информации в лог, мы автоматически будем перемещаться вниз

img

  • Когда "автоскрол" выключен пиктограмма меняет свой вид - это означает, что по мере вывода информации в лог, мы будем оставаться на месте, автоматического перемещения вниз не будет

img

  • По умолчанию, режим debug отключен - это означает, что в лог выводиться общая информация по парсингу.

img

  • Когда мы активируем режим debug, пиктограмма меняет свой вид и в лог будет выводиться подробная информация по парсингу.

img

В окне лога мы видим подробную информацию по парсингу:

img

В части запроса мы можем увидеть:

  • Название запроса
  • Строку запроса, которая отправляется на сервер
  • Список параметров которые отправляются вместе с запросом(заголовки, кодировка, фильтры и т.д)

В части ответа, который мы получаем от сервера мы видим следующую информацию:

  • "See in debug window" - ссылку, по открытию которой появляется окно, где отображаются страница полученная в результате запроса

img

  • "See full data" - ссылку, по открытию которой, появляется окно с исходным кодом, полученным в результате запроса

img

  • Результаты работы тестового парсинга, в формате заданном настройкой Result format

img

Если режим "автоскрола" создан больше для удобства просмотра, то режим "debug" это незаменимый инструмент для отладки собственных парсеров и пресетов. Анализируя информацию полученную с лога в режиме "debug", мы можем увидеть на каком этапе и что происходит во время выполнение задания, как формируется запрос и что парсер получает в ответ.