Ошибка Проблема с последним потоком/результатом

По логике, ближе к концу парсинга, Апарсер замедляется за счёт того, что дольше ищет рабочие прокси и не остаётся живых сессий от других потоков.
Часто бывают ситуации когда задача по тысячам запросов собирается за пару минут, а последние несколько запросов собирает намного дольше. Такое поведение наблюдается на парсерах, где встречается бан и капча, например, Яндекс и Google.
Это не ошибка, но было бы здорово эту ситуацию каким-то образом обработать.
Как вариант, последние запросы собирать параллельно в несколько потоков, которых в избытке ближе к концу парсинга. Конечно, такое поведение не понравится тем, кто использует антикапчу, т.к. увеличит расход. Но можно было бы сделать такую опцию в парсерах. Я бы ею пользовался.

 

Скриншоты ниже наглядно показывают подобную ситуацию.
1. Меньше чем за три минуты собрано 70% запросов.


2. Оставшиеся 30% собирались целых 16 минут!
Время сбора растянулось за счёт последних нескольких запросов.
При этом новых задач параллельно особо не поставишь, т.к. зарезервированы все 150 потоков, а не только один используемый в данный момент. Также и по другим задачам, которые выполнялись параллельно.

 

Спасибо, не знал. Это решает проблему в рамках множества задач. Нам поможет.
Но по отдельной задаче замедление в конце выполнения останется. Возможно у вас всё же найдётся решение для этой проблемы.

 

да есть такое, я уже как-то предлагал сделать включение параметра (включить если хочу использовать) где можно задать например в процентах, что если осталось в конце например 0.5% от задания (крохи остались) то например закончить парсинг, но мое предложение завернули к сожалению ))