google modern

[malexoid]

хм, запилил сейчас быстрый париснг ссылок и был приятно удивлен скоростью, нужно будет еще старый гугл парсер потестить конечно.

google modern chrome61 1 страница по 10 ссылок, 300 потоков, без разгадывания капчи, скорость получается 2900-3100 запросов в минуту, очень хорошо.

До этого всегда пользовался через api обычным Google парсером, в 300 потоков, без разгадывания капчи, скорость около 200-400 запросов в минуту, но там 1 страница и 50 ссылок.

Видимо гугл быстрее банит и чаще предлагает капчу если ссылок не 10 штук, а больше. Видимо быстрее будет парсить 5 страниц по 10 ссылок, чем 1 страницу по 50. Нужно потестить.
Но может кто уже тестил? какой сейчас самый эффективный режим парсинга без капчи, просто бомбингом через прокси?

 

[Support]

Когда тестил SE::Google::Modern, тоже замечал что при 10 ссылках на страницу рекаптч меньше выдается. Так что вполне может быть, что Гугл больше любит "нежадных" пользователей

 

[malexoid]

потестил, оказалось что запросы типа info:https://www.yandex.ru обрабатываются с минимум капч, скорость на 300 потоках 2900-3000 запросто. но стоит поменять запросы на обычные, скорость тут же падает. избирательно гугл подходит к показу рекапчи.