Google modern, AWM + XEvil, очень низкая скорость? Где ошибка?

jasonnevins

A-Parser Enterprise License
A-Parser Enterprise
Может не так что делаю? 1500 потоков, скорость выше 50-100 не поднимается. Прокси за 195$ в месяц.
 
Запросы случайно не со спец. операторами гугла типа inurl: и др.?
 
1. Нужен пул хороших проксей
2. Капчу гадать не нужно, отключить, просто бомбим запросами
 
1500 потоков, скорость выше 50-100 не поднимается.
В большинстве случаев причины можно увидеть в логе задания.
Поэксперементируйте с различными вариантами настроек: попробуйте снизить кол-во потоков (не всегда большее кол-во потоков означает большую скорость), отключить XEvil (возможно он не справляется с большим кол-вом рекаптч) и увеличить кол-во попыток, уменьшить количество страниц для парсинга, если это позволяет сделать решаемая задача.
Вот свежий замер (300 потоков, прокси из Личного кабинета, 1 страница, 30 попыток, рекаптча отключена):
bvnfn_190111104035.png

Как видно на скриншоте - скорость порядка 2к в минуту.

Как тут где-то было примером - как собирали базу форумов.
Вот: https://a-parser.com/resources/103/
 
у авмпрокси в обычные тарифы входит всего 100к запросов к гуглу в месяц
 
Назад
Верх