Полное описание очереди заданий

25 дек 2015
  • В A-Parser существует очередь заданий позволяющая последовательно выполнять множество заранее созданных заданий, рекомендуется ознакомится с концепцией работы Очереди заданий.

    Управление очередью(top)

    [​IMG]
    • Количество заданий отображаемых на одной странице регулируется. Данный параметр указывается в общих настройках (Настройки -> Общие настройки -> Заданий на страницу)
    • Возможность сворачивать задания, перемещать задание вверх или вниз, перемещать задание непосредственно в начало или в конец очереди
    • Задания можно редактировать после остановки или паузы. Редактировать возможно количество потоков, настройки результатов и дополнительные опции
    • Так же задание можно удалить, или продублировать

    Полный обзор карточки заданий(top)

    [​IMG]
    Настройки - В настройках содержится краткая информация о задании.
    • Парсеры - Отображается какие парсеры используются в задании
    • Время добавления - Указана дата и время добавления задания
    • Запросы - Информация о том откуда парсер берет запросы, из файла или из поля запросов
    • Конфиг потоков - Выбранный пресет настроек потоков для текущего задания
    • Файл результатов - Имя файла для сохранения результата. По умолчанию настроен на формат даты %b-%d_%H-%M-%S, при форматировании выдаёт текущее время и дату в виде May-08_20-08-38
    Состояние - Статистика в которой отображается:
    • Время изменения - Последнее время обновления информации о задании
    • Запросы заверш./всего - Количество обработанных запросов/ Количество запросов всего. Отображается прогресс в виде процента выполненных запросов
    • Неудачных запросов - Количество запросов которые парсер не обработал, считаются неудачными запросами
    • Результатов уник/всего - Если включена уникализация, то парсер будет отображать статистику уникальных результатов и общее количество результатов
    • Статус - Текущий статус задания, описания всех статусов сведены в таблицу ниже
    • Активных потоков - Отображает количество потоков участвующих в данный момент при парсинге. Изначально соответствует числу потоков указанных при составлении задания. Может уменьшатся при нехватке живых проксей, либо под конец работы задания когда количество оставшихся запросов меньше количества потоков указанных при настройке в задании
    • Ожидающих потоков - Отображает количество простаивающих потоков в ожидании живых прокси. Если в задании появляются ожидающие потоки, необходимо добавить рабочих прокси-серверов
    • Скорость текущая/общая - Скорость работы задания, выражается в количестве выполненных запросов в минуту. Текущая скорость отображает количество запросов выполненных за последнюю минуту, а общая скорость отображает среднее значение за весь период работы задания
    • Текущий запрос - Текущий запрос который парсер обрабатывает

    • По каждому заданию отображается
      дополнительная информация по запросам, использованным проксям и др.
    • При включении опции Вести лог в Редакторе заданий, возможен Просмотр лога для конкретного задания. Лог по каждому потоку ведется отдельно

    Статусы заданий(top)

    Каждое задание имеет свой статус, вот список возможных состояний:
    СтатусОписание
    waitSlotОжидание свободного слота для выполнения задания, новое задание всегда попадает в очередь с этим статусом
    workЗадание выполняется
    pausedЗадание приостановлено, при этом оно удерживает рабочий слот, не позволяя запуститься следующим заданиям
    stoppedЗадание остановлено, при этом освобождается рабочий слот
    completedЗадание завершено - обработаны все запросы, задание переходит в очередь завершенных заданий, освобождается рабочий слот


    Неудачные запросы(top)


    • Парсер считает запрос неудачным, когда количество попыток для парсинга исчерпано. Парсер пропускает данный запрос записывая его как не удачный. Количество попыток для парсинга запроса указывается в Настройках парсера в поле Request retries.
    • Чтобы предотвратить неудачные запросы, нужно увеличить количество попыток. Чем больше количество попыток, тем возможно будет медленнее парсинг. Тем не менее, чтобы гарантировано получать результаты парсинга для каждого запроса, можно устанавливать большое количество попыток, например 1000.