Ошибка [1.1.801] SE::Google проблема с последним потоком

[Alex]

Проблема возникает в конце парсинга - последний поток может висеть, пока не выберет все попытки:



...и так далее.

10к запросов, сниппеты, 450 потоков через прокси, антигейт (xEvil+xrumer).
Основная часть задания выполняется за 10-15 мин и потом оно может висеть минут 30-50, пока не закончатся попытки у последнего потока.

1.1.800, но встречалось и в предыдущих версиях.

 

[seowin555]

Тоже самое замечал и замечаю, вот тут писал https://a-parser.com/threads/3146/ пункт 2.
Причем у меня такое наблюдается на разных парсерах.

 

[malexoid]

Эта тема давно была, я обхожу это следующим алгоритмом, через API: если активных потоков меньше чем установленное значение + в течении 10 минут скорость падает ниже критической, то ставлю задание на паузу и тут же стартую. Помогает. Без этих манипуляций, задание может весеть очень и очень долго.

 

[Forbidden]

@Alex, попробуй 1.1.801, если ситуация сохранится - пришли мне в личку полные строчки лога

@seowin555 твоя проблема совсем в другом, в полном непонимании того что так и должно быть(хотя в предыдущем топике было как раз разжевано саппортом), если из 500 потоков 5 медленно отрабатывают по причине каптчи\прокси\и т.д., то именно эти 5(1-3-7-11) потоков ты и увидишь в конце, потому что другие уже отработали, это не проблема последних запросов

@malexoid - @Alex единственный кто прислал лог на котором видно именно некорректную работу, вот эту проблему и будем лечить, использовать костыли с перезапуском задания - так себе вариант

 

[seowin555]

@seowin555 твоя проблема совсем в другом, в полном непонимании того что так и должно быть(хотя в предыдущем топике было как раз разжевано саппортом), если из 500 потоков 5 медленно отрабатывают по причине каптчи\прокси\и т.д., то именно эти 5(1-3-7-11) потоков ты и увидишь в конце, потому что другие уже отработали, это не проблема последних запросов

По этому вопросу понял, но у проблема на самом последнем запросе и для решения этой проблемы я также использую костыль, как написал malexoid. Могу видео записать или по тимке показать, например.
Обработка самого последнего запроса и занимает больше всего времени, чем вообще весь парсинг.
Вот, например, еще мое старое сообщение, когда я купил а-парсер - https://a-parser.com/threads/2813/#post-9469 .
На последнем запросе 15 минут стоял.

 

[Forbidden]

с чего ты взял что запрос последний? это запрос из середины может быть или из начала, нет такого понятия "последний" запрос

 

[seowin555]

Не верно написал, не последний запрос, а последний поток...

 

[Forbidden]

единственное что может помочь в этой дискуссии - открыть лог и посмотреть причину почему запрос долго выполняется

 

[seowin555]

Я пробовал смотреть по логу, тоже самое, что и у Alex, т.е. перебирает все попытки на последнем запросе.
Поэтому и написал сюда.
Как встречусь снова с такой проблемой, лог сохраню....

 

[Alex]

@Alex, попробуй 1.1.801, если ситуация сохранится - пришли мне в личку полные строчки лога

Прогнал 10 заданий по 10к, пока ничего не зависало

 

[malexoid]

@Forbidden 1.1.801 предлагает только конфиг поменять... это ок?

 

[Forbidden]

апарсер всегда предлагает менять только исполняемый файл