1. Этот сайт использует файлы cookie. Продолжая пользоваться данным сайтом, Вы соглашаетесь на использование нами Ваших файлов cookie. Узнать больше.
  2. Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 2600+ и мы растем!
    Скрыть объявление

Улучшение TTL задач в Redis API

Тема в разделе "Задачи", создана пользователем artur2k, 21 окт 2022.

  1. artur2k

    artur2k A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    7 окт 2013
    Сообщения:
    3
    Симпатии:
    1
    Здравствуйте!
    Рассматриваете ли вы возможность сделать Redis API Апарсера таким, чтобы можно было задавать TTL каждого задания, отправленного Апарсеру? Например, в api_opts передавать unix epoch timestamp, после которого таск будет считаться просроченным, и выполняться Апарсером не будет.
    Иногда скрипт может генерировать много тасков, и в моменты недоступности или слишком большой загрузки Апарсера очередь может сильно вырасти, в то время как скрипт завершится с ошибкой "задача завершилась по таймауту". При этом следующее выполнение скрипта будет также дольше обычного, т.к. Апарсер будет честно выполнять всё, что положили ему в очередь. Также просто очищать очередь возможности нет, т.к. в неё могут класть свои задания сразу несколько скриптов.
     

Поделиться этой страницей