1. Этот сайт использует файлы cookie. Продолжая пользоваться данным сайтом, Вы соглашаетесь на использование нами Ваших файлов cookie. Узнать больше.
  2. Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 2600+ и мы растем!
    Скрыть объявление

Улучшение завершение при 99%

Тема в разделе "Отклоненные задачи", создана пользователем denver, 16 апр 2020.

  1. denver

    denver A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    6 янв 2013
    Сообщения:
    192
    Симпатии:
    43
    иногда, когда остается чуток запросов (это актуально при работе через API т.к. там постоянный парсинг нон стоп), и очень много времени тратится когда например уже 99%, бывает что этот несчастный процент дольше парсит, чем все заданием (утрирую, но примерно так)

    сделать, как в свое время было в а-постере, опция у задания, что переводить в выполненные при достижении 99%

    пока писал пришла еще идея
    не переводить в выполненные при достижении 99% (процент естественно указывается в настройки), а просто Request retries ставим на нужное число

    т.е. пример
    у меня есть задание, у которого Request retries стоит 30
    и когда наступает 99% (потоков становится мало уже) то это парсится очень долго
    так вот например в настройках задания я ставлю, что при достижении например 99% поставить Request retries в значение 1 и все
    проблема решена :)
     
    seo-bro нравится это.
  2. denver

    denver A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    6 янв 2013
    Сообщения:
    192
    Симпатии:
    43
    еще можно по второму предложению например вообще сделать универсальную вещь
    как я написал выше опцию
    при достижении определенного процента выполнения задания (например 99%)
    вот такие-то опции ставить вот в такие-то значения
    и там уже выбирать опции, т.е. не ограничиваться только Request retries
    может например понадобится уменьшить время ответа Request timeout например поставить в 5 секунд
    и т.д.
     
  3. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.336
    Симпатии:
    1.791
    для чего все эти костыли? поставьте изначально request retries 10(или сколько нужно) и все
    это не проблема работы задания, это проблема восприятия статистики его работы
     
  4. denver

    denver A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    6 янв 2013
    Сообщения:
    192
    Симпатии:
    43
    это нужно именно для того, что я написал
    10 request retries не всегда достаточно и поэтому я ставлю например 30, но вот в конце задания, когда остается пару десятков запросов, парсинг может длится очень долго, поэтому и нужна такая опция. Я работаю исключительно через API и там крайне необходимо это
     

Поделиться этой страницей