Задания и очередь

2 сен 2015
  • Работа A-Parser'а основана на очереди заданий - вы добавляете задания и они выполняются по порядку, тем самым позволяя загрузить парсер работой на долгое время и не следить когда он закончит работу.

    Основные преимущества очереди заданий в A-Parser'е:
    • Поддержка выполнения нескольких заданий одновременно
    • Приостановка и полная остановка выполнения задания
    • Сохранение промежуточных результатов работы заданий, что позволяет продолжать работу с момента отключения парсера(или выключения компьютера\сервера)
    • Перемещение отдельных заданий в очереди
    • Возможность редактирования уже созданных заданий, а также копирование заданий для повторного использования
    • Завершенные задания переходят в очередь завершенных заданий, где можно посмотреть результаты работы каждого задания и скачать результат
    Алгоритм работы

    [​IMG]

    Количество одновременно работающих заданий регулируется рабочими слотами, данный параметр указывается в общих настройках(Настройки -> Общие настройки -> Максимум активных заданий). Стандартно установлено значение 1, т.е. одно одновременно работающее задание, другие будут ожидать своей очереди

    Каждое задание имеет свой статус, вот список возможных состояний:
    СтатусОписание
    waitSlotОжидание свободного слота для выполнения задания, новое задание всегда попадает в очередь с этим статусом
    workЗадание выполняется
    pausedЗадание приостановлено, при этом оно удерживает рабочий слот, не позволяя запуститься следующим заданиям
    stoppedЗадание остановлено, при этом освобождается рабочий слот
    completedЗадание завершено - обработаны все запросы, задание переходит в очередь завершенных заданий, освобождается рабочий слот
    При установке параметра Максимум активных заданий свыше одного стоит учитывать что количество потоков возрастет, как и общее потребление ресурсов парсером. Для достижения максимальной скорости работы всегда используйте только одно задание, с подобранным оптимальным числом потоков для конкретного компьютера\сервера.
Dellius и high_skill нравится это.