предлагаю сделать для каждого парсера свой список proxies banned т.е сейчас список proxies banned привязывается к конкретной задаче, предлагаю сделать возможность привязывать этот список к парсеру. p.s. у меня 150 гугловских задач, каждая задача это конкретный регион, содержит от 300 до 6000 фраз, а в сумме получается около 400 тыс фраз. запихать всё это в 1 задачу невозможно, т.к регион разный. Задачи запускаются параллельно по 5 штук, если кол-во активных потоков меньше установлено в системе максимума. и вот каждый раз для каждой конкретной задачи набивается этот список proxies banned, думаю из-за этого страдает скорость парсинга.
в настройки потоков добавлена опция Global proxy ban, все задания запущенные с этой опцией имеют общую базу бана прокси
Удобнее было бы если бы общая база бана распространялась бы на только текущий конфиг потоков. Например, отдельные конфиги потоков для yandex и google и базы бана у них свои. А сейчас база общая для всех, и смысл? если прокся забанена в гугле, то в яндекса она может быть хорошей...