Последние несколько дней наблюдаю крайне низкую скорость парсинга Гугла с оператором site с проксями от fineproxy.org, 95+% запросов уходят в неудачные. Скорость на 100 потоках не превышает 250-300. Ранее средняя скорость на 100 потоках была ~2000. Не пойму в чем дело, у кого=нибудь есть похожие проблемы?
Посоветуйте плз, где купить нормальные прокси? Взял сейчас у awmproxy, поставил 200 потоков. Парсю с оператором site: 50% запросов улетают в failed, скорость парсинга 87/91. Раньше у меня на fineproxy скорость была 1500+ и в failed улетало не более 10% запросов...
Попыток сделал поменьше, скорость увеличилась. Спасибо за наводку. Но осталась проблема failed queries. Даже без операторов в фэйл падает очень много запросов... Как можно улучшить этот показатель ?
При плохих проксях чем меньше попыток - тем больше ошибок и быстрее парсинг(т.к. запросы пропускаються) Вариантов всего 2 - улучшать прокси или использовать антигейт
