Улучшение Парсинг антигейтом после прокси

[Morgul]

Было бы удобно - парсим проксями и если все попытки были неудачны, то переходим к парсингу антигейтом. Дабы не создавать сложных конструкций вида отработали одно задание, получили неудачные результаты. Прогнали их по новому заданию.

 

[Forbidden]

просто увеличь Request retries если тебе ненужны неудачные запросы, и\или сразу выставь использование антигейта

 

[iharrby]

а если парсим поисковые подсказки гугла?
там нет возможности выбрать антигейт

 

[Forbidden]

просто увеличь число попыток, за подсказки гугл никогда не банит почти, поменяй прокси

 

[iharrby]

50 попыток стоит на 100 потоках, скорость 800 , и прокси (5000) всегда в бане
ставлю без проксей (1000 потоков) скорость 5000, но хватает мин на 5 такого режима, потом скорость 100-200
еслиб был антигейт я думаю без проксей была бы итоговая скорость выше

 

[Forbidden]

что то я слабо представляю каптчу на подсказках гугла

 

[Morgul]

просто увеличь Request retries если тебе ненужны неудачные запросы, и\или сразу выставь использование антигейта

пользуюсь пока твоими, первый месяц. Поставил 50 попыток - неудачно. Не знаю как будет с паблик проксями, но думаю лучше попробовать сделать какое-то кол-во попыток через прокси, а потом антигейтом, чем сразу антигейтом, ибо это доп расходы.