Улучшение Настройки потоков - Proxy strategy

[arsenkin]

В функционале настройки потоков есть параметр Proxy strategy и имеет значения:

• Keep good proxy for next query
• Random proxy for each query

Здесь не хватает стратегии, когда все прокси используются максимально.
Это необходимо для задачи регистрации аккаунтов в Yandex для парсинга Яндекс Вордстат. Допустим, у меня 50 прокси и регистрирую 50 аккаунтов, выбираю стратегию Random proxy for each query для подставки прокси для аккаунтов. Итого, получается, что для 50 аккаунтов используется 25-30 прокси, дублируя некоторые ip адреса для разных аккаунтов.
Хочется видеть стратегию, когда максимально все прокси используются уникально, если уже не остается уникальных ip, то по второму кругу.

 

[mustr]

Поддерживаю. По сути нужна стратегия последовтаельного перебора прокси либо случайного выбора прокси из пула неиспользованных до тех пор пока не будут использованы все, затем пул обновляется.

 

[Gorn]

Поддерживаю!
Еще предложил близкую задачу - Улучшение "Задержка запросов" (Request delay) в настройках Net::HTTP парсера https://a-parser.com/threads/8322/
краткий смысл - вместо простаивания потока N секунд (Request delay) выбирать из рабочих прокси ту,
которая не работала N последних секунд и сразу пускать поток в работу,
пауза будет обеспечиваться тем, что выбранная прокси не работала N или более секунд.
Это увеличит скорость парсинга.