Сейчас сижу на крайней бетке. Странно вообще парсит. 500 потоков, proxy.am, пакет на 5000 проксей. Запускаю, скорость ~4к (общая), неудачных запрсов 0 (ретрай лимит 20). Полчаса примерно (наверно чуть меньше даже) парсит на такой же скорости, текущая скорость потихонечку начинает падать, а через час оказывается, что текущая скорость уже 1000, а то и вообще до 400 опускается, а кол-во неудачных запросов при этом начинает катастрофически расти. Если выключить и через какое-то время новую задачу сделать, то ситуация повторяется. Что не так с гуглом? Раньше такого не было, вот еще буквально дня 4 назад стабильно парсило на скорости ~1500. Неудачные запросы были, но их было сравнительно мало. ЗЫ: На текущей стабилке ситуация еще хуже, там скорость начинает от 10 запросов расти и черепашьим темпом начинает потихоньку расти до все тех же 400 запросов в минуту. ЗЫЫ: Пользуясь моментом, задам еще вопрос: яндекс парсер почему-то плохо парсит, начальная скорость 1000 и постепенно опускается, когда о на до 700 упала, я просто вырубил.Так и должно быть? Я что-то думал, что у яндекса наоборот она пошустрее быть должна. Тем более при наведении на иконку информации показывало полное отсутствие капчи. Тот же QIP парсит со скоростью 1600.
Прокси со временем "устают", т.е. Гугл их банит. Отсюда перебор попыток, снижение скорости и неудачные. Гугл сейчас постоянно что-то "подкручивает", поэтому ситуация может меняться очень часто. Мы стараемся отслеживать все изменения и вносить правки в парсер. В данной ситуации, рекомендую увеличивать кол-во попыток. Также, Гугл сейчас при бане выдает рекаптчу, ее разгадывание поддерживается в SE::Google::Modern, поэтому для увеличения производительности лучше использовать этот парсер и подключать разгадывание. В Яндексе скорость скорее всего падает по аналогичным причинам. Кол-во каптч в статистике отображается только если включено разгадывание (Use AntiGate).
