Перейти к основному содержимому

Очередь заданий

Работа A-Parser'а основана на очереди заданий - вы добавляете задания и они выполняются по порядку, тем самым позволяя загрузить парсер работой на долгое время и не следить когда он закончит работу.

Очередь заданий

Основные преимущества очереди заданий в A-Parser#

  • Поддержка выполнения нескольких заданий одновременно
  • Приостановка и полная остановка выполнения задания
  • Сохранение промежуточных результатов работы заданий, что позволяет продолжать работу с момента отключения парсера(или выключения компьютера\сервера)
  • Перемещение отдельных заданий в очереди
  • Возможность редактирования уже созданных заданий, а также копирование заданий для повторного использования
  • Завершенные задания переходят в очередь завершенных заданий, где можно посмотреть результаты работы каждого задания и скачать результат

Алгоритм работы#

Алгоритм очереди

Рабочие слоты заданий#

Количество одновременно работающих заданий регулируется рабочими слотами, данный параметр указывается в общих настройках(Настройки -> Общие настройки -> Максимум активных заданий). Стандартно установлено значение 1, т.е. одно одновременно работающее задание, другие будут ожидать своей очереди.

Статусы задания в очереди#

Каждое задание имеет свой статус, вот список возможных состояний:

СтатусОписание
waitSlotОжидание свободного слота для выполнения задания, новое задание всегда попадает в очередь с этим статусом
workЗадание выполняется
pausedЗадание приостановлено, при этом оно удерживает рабочий слот, не позволяя запуститься следующим заданиям
stoppedЗадание остановлено, при этом освобождается рабочий слот
completedЗадание завершено - обработаны все запросы, задание переходит в очередь завершенных заданий, освобождается рабочий слот

При установке параметра Максимум активных заданий свыше одного стоит учитывать что количество потоков возрастет, как и общее потребление ресурсов парсером.

tip

Для достижения максимальной скорости работы всегда используйте только одно задание, с подобранным оптимальным числом потоков для конкретного компьютера\сервера.

Последнее обновление