Улучшение завершение при 99%

[denver]

иногда, когда остается чуток запросов (это актуально при работе через API т.к. там постоянный парсинг нон стоп), и очень много времени тратится когда например уже 99%, бывает что этот несчастный процент дольше парсит, чем все заданием (утрирую, но примерно так)

сделать, как в свое время было в а-постере, опция у задания, что переводить в выполненные при достижении 99%

пока писал пришла еще идея
не переводить в выполненные при достижении 99% (процент естественно указывается в настройки), а просто Request retries ставим на нужное число

т.е. пример
у меня есть задание, у которого Request retries стоит 30
и когда наступает 99% (потоков становится мало уже) то это парсится очень долго
так вот например в настройках задания я ставлю, что при достижении например 99% поставить Request retries в значение 1 и все
проблема решена

 

[denver]

еще можно по второму предложению например вообще сделать универсальную вещь
как я написал выше опцию
при достижении определенного процента выполнения задания (например 99%)
вот такие-то опции ставить вот в такие-то значения
и там уже выбирать опции, т.е. не ограничиваться только Request retries
может например понадобится уменьшить время ответа Request timeout например поставить в 5 секунд
и т.д.

 

[Forbidden]

для чего все эти костыли? поставьте изначально request retries 10(или сколько нужно) и все
это не проблема работы задания, это проблема восприятия статистики его работы

 

[denver]

для чего все эти костыли? поставьте изначально request retries 10(или сколько нужно) и все
это не проблема работы задания, это проблема восприятия статистики его работы

это нужно именно для того, что я написал
10 request retries не всегда достаточно и поэтому я ставлю например 30, но вот в конце задания, когда остается пару десятков запросов, парсинг может длится очень долго, поэтому и нужна такая опция. Я работаю исключительно через API и там крайне необходимо это