предлагаю сделать для каждого парсера свой список proxies banned
т.е сейчас список proxies banned привязывается к конкретной задаче, предлагаю сделать возможность привязывать этот список к парсеру.
p.s.
у меня 150 гугловских задач, каждая задача это конкретный регион, содержит от 300 до 6000 фраз, а в сумме получается около 400 тыс фраз. запихать всё это в 1 задачу невозможно, т.к регион разный. Задачи запускаются параллельно по 5 штук, если кол-во активных потоков меньше установлено в системе максимума.
и вот каждый раз для каждой конкретной задачи набивается этот список proxies banned, думаю из-за этого страдает скорость парсинга.
т.е сейчас список proxies banned привязывается к конкретной задаче, предлагаю сделать возможность привязывать этот список к парсеру.
p.s.
у меня 150 гугловских задач, каждая задача это конкретный регион, содержит от 300 до 6000 фраз, а в сумме получается около 400 тыс фраз. запихать всё это в 1 задачу невозможно, т.к регион разный. Задачи запускаются параллельно по 5 штук, если кол-во активных потоков меньше установлено в системе максимума.
и вот каждый раз для каждой конкретной задачи набивается этот список proxies banned, думаю из-за этого страдает скорость парсинга.
конечно у каждого парсера своя база