При парсинге большого количества УРЛ приходится подбирать оптимальное количество потоков, чтоб и скорость была побольше и сайт-цель не падал. Сейчас для этого надо делать множество телодвижений - нажатий кнопки мыши - 9 раз, скроллингов 2-3. Предлагаю добавить возможность менять количество потоков для РАБОТАЮЩЕГО задания без его остановки. Это повысит удобство А-парсера и сэкономит нам немного времени. В идеале вообще было бы здорово сделать автоматический подбор оптимального количества потоков.
Нет, не так. Вот есть задание, большое, на несколько дней. Поставил 500 потоков, скорость допустим 500. Скорость конечно приличная, но задание большое, хочется побыстрее, естественное делание увеличить количество потоков. Чтобы попробовать 900, надо остановить апарсер, сменить количество потоков и снова его пустить, если скорость увеличится - повторно делать те же шаги. Потом рано или поздно наступит предел или даже скорость упадет из-за тормозов сайта, надо снова останавливать парсинг и уменьшать потоки... В общем МНОГО повторяющихся нажатий и скроллингов мышкой. Если сделать как я предлагаю - менять количество потоков без остановки апарсера - это сэкономит время и повысит удобство настройки апарсера.
Я про количество ПОТОКОВ одного исполняемого (работающего) задания говорю! А Вы про количество одновременно выполняемых заданий, это сосем не то! Я размещаю скриншот, чтобы вам было понятнее ) Общее количество потоков у меня установлено в 2000.
