Проблема возникает в конце парсинга - последний поток может висеть, пока не выберет все попытки: ...и так далее. 10к запросов, сниппеты, 450 потоков через прокси, антигейт (xEvil+xrumer). Основная часть задания выполняется за 10-15 мин и потом оно может висеть минут 30-50, пока не закончатся попытки у последнего потока. 1.1.800, но встречалось и в предыдущих версиях.
Тоже самое замечал и замечаю, вот тут писал https://a-parser.com/threads/3146/ пункт 2. Причем у меня такое наблюдается на разных парсерах.
Эта тема давно была, я обхожу это следующим алгоритмом, через API: если активных потоков меньше чем установленное значение + в течении 10 минут скорость падает ниже критической, то ставлю задание на паузу и тут же стартую. Помогает. Без этих манипуляций, задание может весеть очень и очень долго.
@Alex, попробуй 1.1.801, если ситуация сохранится - пришли мне в личку полные строчки лога @seowin555 твоя проблема совсем в другом, в полном непонимании того что так и должно быть(хотя в предыдущем топике было как раз разжевано саппортом), если из 500 потоков 5 медленно отрабатывают по причине каптчи\прокси\и т.д., то именно эти 5(1-3-7-11) потоков ты и увидишь в конце, потому что другие уже отработали, это не проблема последних запросов @malexoid - @Alex единственный кто прислал лог на котором видно именно некорректную работу, вот эту проблему и будем лечить, использовать костыли с перезапуском задания - так себе вариант
По этому вопросу понял, но у проблема на самом последнем запросе и для решения этой проблемы я также использую костыль, как написал malexoid. Могу видео записать или по тимке показать, например. Обработка самого последнего запроса и занимает больше всего времени, чем вообще весь парсинг. Вот, например, еще мое старое сообщение, когда я купил а-парсер - https://a-parser.com/threads/2813/#post-9469 . На последнем запросе 15 минут стоял.
с чего ты взял что запрос последний? это запрос из середины может быть или из начала, нет такого понятия "последний" запрос
единственное что может помочь в этой дискуссии - открыть лог и посмотреть причину почему запрос долго выполняется
Я пробовал смотреть по логу, тоже самое, что и у Alex, т.е. перебирает все попытки на последнем запросе. Поэтому и написал сюда. Как встречусь снова с такой проблемой, лог сохраню....
