Крайне низкая скорость парсинга Гугла с оператором site

[yadzha]

Последние несколько дней наблюдаю крайне низкую скорость парсинга Гугла с оператором site с проксями от fineproxy.org, 95+% запросов уходят в неудачные. Скорость на 100 потоках не превышает 250-300. Ранее средняя скорость на 100 потоках была ~2000. Не пойму в чем дело, у кого=нибудь есть похожие проблемы?

 

[Forbidden]

Проблема может быть только одна - прокси

 

[rostonix]

Прокси эти юзает туча народа. Ничего удивительного.

 

[yadzha]

Посоветуйте плз, где купить нормальные прокси? Взял сейчас у awmproxy, поставил 200 потоков. Парсю с оператором site: 50% запросов улетают в failed, скорость парсинга 87/91. Раньше у меня на fineproxy скорость была 1500+ и в failed улетало не более 10% запросов...

 

[Forbidden]

А сколько попыток то стоит(Request retries)?

 

[yadzha]

10 попыток, по дефолту

 

[yadzha]

Попыток сделал поменьше, скорость увеличилась. Спасибо за наводку. Но осталась проблема failed queries. Даже без операторов в фэйл падает очень много запросов... Как можно улучшить этот показатель ?

 

[Forbidden]

При плохих проксях чем меньше попыток - тем больше ошибок и быстрее парсинг(т.к. запросы пропускаються)
Вариантов всего 2 - улучшать прокси или использовать антигейт

 

[yadzha]

Посоветуй плз нормальные прокси? Или это такой щекотливый вопрос, что нужно только самому искать?

 

[rostonix]

Посоветуй плз нормальные прокси? Или это такой щекотливый вопрос, что нужно только самому искать?

Мне кажется ага

 

[Dodgy]

Прокси это проблема) и с каждым днем она все ухудшается и ухудшается)