В функционале настройки потоков есть параметр Proxy strategy и имеет значения: Keep good proxy for next query Random proxy for each query Здесь не хватает стратегии, когда все прокси используются максимально. Это необходимо для задачи регистрации аккаунтов в Yandex для парсинга Яндекс Вордстат. Допустим, у меня 50 прокси и регистрирую 50 аккаунтов, выбираю стратегию Random proxy for each query для подставки прокси для аккаунтов. Итого, получается, что для 50 аккаунтов используется 25-30 прокси, дублируя некоторые ip адреса для разных аккаунтов. Хочется видеть стратегию, когда максимально все прокси используются уникально, если уже не остается уникальных ip, то по второму кругу.
Поддерживаю. По сути нужна стратегия последовтаельного перебора прокси либо случайного выбора прокси из пула неиспользованных до тех пор пока не будут использованы все, затем пул обновляется.
Поддерживаю! Еще предложил близкую задачу - Улучшение "Задержка запросов" (Request delay) в настройках Net::HTTP парсера https://a-parser.com/threads/8322/ краткий смысл - вместо простаивания потока N секунд (Request delay) выбирать из рабочих прокси ту, которая не работала N последних секунд и сразу пускать поток в работу, пауза будет обеспечиваться тем, что выбранная прокси не работала N или более секунд. Это увеличит скорость парсинга.
