Приветствую. Появилась необходимость парсить google, раньше (в июне) парсилось хорошо через xevil, пока гугл не прикрыл лавку. Купил прокси nosok.org из топика - https://a-parser.com/threads/3764/page-2#post-12153 Их саппорт говорит Так вы не используете весь пакет. Нагружаете на 50 процентов Парсинг такой конф-й, в 600 потоков, скорость 700-750 (+ много ошибок) Поставил на 900 потоков, rqst delay 4, proxyban 30, скорость повысилась до 900-1000 (ошибок еще больше) Понятно что не в одни руки прокси исп-я. Кто парсит? Как улучшить? Имхо 300$ в месяц за такой результат - ну очень дорого по соотношению цена/кач-во. Спасибо.
а зачем Request retries уменьшен до 3? его надо наоборот увеличить до 100-200-... и тогда не будет ошибок попробуй SE::Google, на нем должна быть скорость сильно выше
По разному, Гугл постоянно меняет некоторые параметры запроса, что влияет на бан прокси и выдачу каптч. Сейчас SE::Google и SE::Google::Modern используют немного разные алгоритмы, поэтому их производительность может меняться независимо. Сейчас, в целом обычный должен быть быстрее, чем модерн.
