Гугл в последнее время очень часто делает изменения в поисковике и довольно жестко реагирует на парсинг, выдавая очень много рекаптч. Мы стараемся оперативно реагировать на любые изменения и по мере возможности делать исправления в парсере, чтобы минимизировать влияние подобных изменений. Данное улучшение немного уменьшает кол-во рекаптч.
Что-то не то в этом обновлении, скорость парсера с гаданием рекапчи наборот деградировала где-то в 10 раз. откатился на .93 версию - всё отлично стало. для гадания рекаптч использую xevil
За счет чего скорость упала? Дольше разгадывается каждая рекаптча? Или после разгадывания гугл не принимает ответ и выдает повторную рекаптчу? Или же самих рекаптч стало наоборот больше? Вот свежий замер на 1.2.108 ТОП10, 300 потоков, прокси nosok, остальные настройки по-умолчанию С включенной рекаптчей (anti-captcha.com): На 5575 обработанных запросов было 765 рекаптч, что примерно равно 14% Без рекаптчи, кол-во попыток 50:
обратно установил 108, скорость резко упала, включил логирование: 1. капч стало больше. 2. капча гадается - результат выдается. 3. следом для этого ip снова выдается капча. на версии .93: апарсер 50 потоков, xevil 20 потоков - все окей, скорость в апарсере 230-280 запросов в минуту на версии .108: апарсер 50 потоков, xevil 20 потоков - xevil захлебывается и не справляется, капч стало больше, это видно. скорость в апарсере 25-39 в мин. проверял несколько раз. запущены вместе 2 задачи: 1я задача - google modern 50 потоков с гаданием рекапчи - только анонимные прокси 2я задача - google position 300 потоков без рекапчи - долбежка - анонимные + публичные прокси
Попробуйте запустить на 108-й версии только одну задачу: google modern и отпишитесь о том, как будет работать.
А вот еще момент Запросы в гугле Fotokontrollerid site:ee Fotokvadītāji site:lv Fotokvadai site:lt не выдают результатов, но парсер упорно перебирает позиции и ловит кучу капч
Напишите мне по любому удобному контакту (Telegram: @aparser, или в Skype: a-parser), нужно искать проблему на вашем парсере. Уточните, пожалуйста, что вы имеете в виду. 0-е результаты - это в которых нет результатов, или это неудачные? Покажите, пожалуйста, лог задания, где видно подобное поведение. По указанным вами запросам в гугле действительно нет результатов, и парсер не перебирает попытки, а сразу переходит к следующему.
