Улучшение Изменять количество потоков БЕЗ остановки А-парсера

[Gorn]

При парсинге большого количества УРЛ приходится подбирать оптимальное количество потоков, чтоб и скорость была побольше и сайт-цель не падал.
Сейчас для этого надо делать множество телодвижений - нажатий кнопки мыши - 9 раз, скроллингов 2-3.
Предлагаю добавить возможность менять количество потоков для РАБОТАЮЩЕГО задания без его остановки.
Это повысит удобство А-парсера и сэкономит нам немного времени.
В идеале вообще было бы здорово сделать автоматический подбор оптимального количества потоков.

 

[Vvtex]

т.е. ты хочешь 50 потоков одно задание 50 потоков другое задание и т.д. ?

 

[Gorn]

Нет, не так.
Вот есть задание, большое, на несколько дней. Поставил 500 потоков, скорость допустим 500.
Скорость конечно приличная, но задание большое, хочется побыстрее, естественное делание увеличить количество потоков. Чтобы попробовать 900, надо остановить апарсер, сменить количество потоков и снова его пустить, если скорость увеличится - повторно делать те же шаги. Потом рано или поздно наступит предел или даже скорость упадет из-за тормозов сайта, надо снова останавливать парсинг и уменьшать потоки...
В общем МНОГО повторяющихся нажатий и скроллингов мышкой. Если сделать как я предлагаю - менять количество потоков без остановки апарсера - это сэкономит время и повысит удобство настройки апарсера.

 

[Vvtex]

Нет, не так.
Вот есть задание, большое, на несколько дней. Поставил 500 потоков, скорость допустим 500.
Скорость конечно приличная, но задание большое, хочется побыстрее, естественное делание увеличить количество потоков. Чтобы попробовать 900, надо остановить апарсер, сменить количество потоков и снова его пустить, если скорость увеличится - повторно делать те же шаги. Потом рано или поздно наступит предел или даже скорость упадет из-за тормозов сайта, надо снова останавливать парсинг и уменьшать потоки...
В общем МНОГО повторяющихся нажатий и скроллингов мышкой. Если сделать как я предлагаю - менять количество потоков без остановки апарсера - это сэкономит время и повысит удобство настройки апарсера.

 

[Gorn]

Я про количество ПОТОКОВ одного исполняемого (работающего) задания говорю!
А Вы про количество одновременно выполняемых заданий, это сосем не то!
Я размещаю скриншот, чтобы вам было понятнее )
Общее количество потоков у меня установлено в 2000.

 

[Vvtex]

Я про количество ПОТОКОВ одного исполняемого (работающего) задания говорю!
А Вы про количество одновременно выполняемых заданий, это сосем не то!
Я размещаю скриншот, чтобы вам было понятнее )
Общее количество потоков у меня установлено в 2000.

Сделают, если кому-то еще надо будет

 

[Gorn]

Прошу всех, кто считает, что такая фича будет полезной - ПОДДЕРЖАТЬ эту заявку.