хм, запилил сейчас быстрый париснг ссылок и был приятно удивлен скоростью, нужно будет еще старый гугл парсер потестить конечно. google modern chrome61 1 страница по 10 ссылок, 300 потоков, без разгадывания капчи, скорость получается 2900-3100 запросов в минуту, очень хорошо. До этого всегда пользовался через api обычным Google парсером, в 300 потоков, без разгадывания капчи, скорость около 200-400 запросов в минуту, но там 1 страница и 50 ссылок. Видимо гугл быстрее банит и чаще предлагает капчу если ссылок не 10 штук, а больше. Видимо быстрее будет парсить 5 страниц по 10 ссылок, чем 1 страницу по 50. Нужно потестить. Но может кто уже тестил? какой сейчас самый эффективный режим парсинга без капчи, просто бомбингом через прокси?
Когда тестил SE::Google::Modern, тоже замечал что при 10 ссылках на страницу рекаптч меньше выдается. Так что вполне может быть, что Гугл больше любит "нежадных" пользователей
потестил, оказалось что запросы типа info:https://www.yandex.ru обрабатываются с минимум капч, скорость на 300 потоках 2900-3000 запросто. но стоит поменять запросы на обычные, скорость тут же падает. избирательно гугл подходит к показу рекапчи.
