Так как парсер не может работать с многоядерными процессорами то приходиться запускать кучу инстансов парсера на разных портах. Но тут возникает проблема с тем, что у каждого инстанса свой пул прокси для потоков и при одновременном парсинге одного сайта из нескольких инстансов прокси быстро блокирую из-за их параллельной утилизации. Выходом могла бы быть опциональная возможность хранения данных по прокси и их текущей утилизации во внешней базе типа Memcached, Redis, Aerospike либо еще что-то. Чтоб оно работало по тому же принципу как сейчас работает настройка Global proxy ban в настройках потоков.
Улучшение Сделать возможность хранения информации по используемым прокси во внешней базе
А если список прокси грузиться с других сайтов или собирается? Как его разделить?
@Forbidden А если список прокси грузиться с других сайтов или собирается? Как его разделить? Плюс с доработкой что я предлагаю можно запускать сколько угодно инстансов парсера и не думать как же эти прокси поразделять, если в инстансе нет запущенных задач - остальные инстансы используют все прокси. А это разделение ограничит количество проксей, доступных для каждого инстанса.