Добавьте пожалуйста в логику дополнительный параметр - количество динамических потоков для заданий с использованием прокси. Чтобы к примеру при лимите в 1000 потоков не запускались задания, в которых на прокси установлен лимит в 100 потоков. А запускались все остальные без прокси.
Улучшение Динамический лимит и прокси
- Автор темы EceninPars
- Дата начала
и в чем сакральный смысл? а потом добавить логику чтобы 50\50% запускалось? или поочереди? ну это уже перебор, берите API и рулите запуском заданий самостоятельно
Приведу пример. Есть 3 задания, 2 из которых парсят с прокси в 100 потоков, а третье не использует прокси и может работать в 1000 потоков. Прокси имеют лимит в 100 потоков. При установке лимита 1000 потоков, первые 2 задания будут ошибаться из за перегрузки лимита потоков на прокси. При установке лимита в 100 потоков, 3е задание не будет работать пока не закончат первые два, а могло бы парсить параллельно в 900 потоков.