Очередь заданий | Документация | A-Parser - парсер для SEO, маркетинга, разработчиков и SaaS
Перейти к основному содержимому

Очередь заданий

Работа A-Parser'а основана на очереди заданий - вы добавляете задания и они выполняются по порядку, тем самым позволяя загрузить парсер работой на долгое время и не следить когда он закончит работу.

Очередь заданий

Основные преимущества очереди заданий в A-Parser

  • Поддержка выполнения нескольких заданий одновременно
  • Приостановка и полная остановка выполнения задания
  • Сохранение промежуточных результатов работы заданий, что позволяет продолжать работу с момента отключения парсера(или выключения компьютера\сервера)
  • Перемещение отдельных заданий в очереди
  • Возможность редактирования уже созданных заданий, а также копирование заданий для повторного использования
  • Завершенные задания переходят в очередь завершенных заданий, где можно посмотреть результаты работы каждого задания и скачать результат

Алгоритм работы

Алгоритм очереди

Рабочие слоты заданий

Количество одновременно работающих заданий регулируется рабочими слотами, данный параметр указывается в общих настройках(Настройки -> Общие настройки -> Максимум активных заданий). Стандартно установлено значение 1, т.е. одно одновременно работающее задание, другие будут ожидать своей очереди.

Статусы задания в очереди

Каждое задание имеет свой статус, вот список возможных состояний:

СтатусОписание
waitSlotОжидание свободного слота для выполнения задания, новое задание всегда попадает в очередь с этим статусом
workЗадание выполняется
pausedЗадание приостановлено, при этом оно удерживает рабочий слот, не позволяя запуститься следующим заданиям
stoppedЗадание остановлено, при этом освобождается рабочий слот
completedЗадание завершено - обработаны все запросы, задание переходит в очередь завершенных заданий, освобождается рабочий слот

При установке параметра Максимум активных заданий свыше одного стоит учитывать что количество потоков возрастет, как и общее потребление ресурсов парсером.

tip

Для достижения максимальной скорости работы всегда используйте только одно задание, с подобранным оптимальным числом потоков для конкретного компьютера\сервера.