Улучшение [1.2.108] Улучшение работы SE::Google::Modern

[Support]

Гугл в последнее время очень часто делает изменения в поисковике и довольно жестко реагирует на парсинг, выдавая очень много рекаптч.
Мы стараемся оперативно реагировать на любые изменения и по мере возможности делать исправления в парсере, чтобы минимизировать влияние подобных изменений.
Данное улучшение немного уменьшает кол-во рекаптч.

 

[malexoid]

Что-то не то в этом обновлении, скорость парсера с гаданием рекапчи наборот деградировала где-то в 10 раз.
откатился на .93 версию - всё отлично стало.
для гадания рекаптч использую xevil

 

[Support]

скорость парсера с гаданием рекапчи наборот деградировала где-то в 10 раз

За счет чего скорость упала?
Дольше разгадывается каждая рекаптча? Или после разгадывания гугл не принимает ответ и выдает повторную рекаптчу?
Или же самих рекаптч стало наоборот больше?

Вот свежий замер на 1.2.108
ТОП10, 300 потоков, прокси nosok, остальные настройки по-умолчанию

• С включенной рекаптчей (anti-captcha.com):
  
  
• На 5575 обработанных запросов было 765 рекаптч, что примерно равно 14%

• Без рекаптчи, кол-во попыток 50:
  
  

 

[malexoid]

За счет чего скорость упала?
Дольше разгадывается каждая рекаптча? Или после разгадывания гугл не принимает ответ и выдает повторную рекаптчу?
Или же самих рекаптч стало наоборот больше?

обратно установил 108, скорость резко упала, включил логирование:
1. капч стало больше.
2. капча гадается - результат выдается.
3. следом для этого ip снова выдается капча.
на версии .93: апарсер 50 потоков, xevil 20 потоков - все окей, скорость в апарсере 230-280 запросов в минуту
на версии .108: апарсер 50 потоков, xevil 20 потоков - xevil захлебывается и не справляется, капч стало больше, это видно. скорость в апарсере 25-39 в мин.
проверял несколько раз.

запущены вместе 2 задачи:
1я задача - google modern 50 потоков с гаданием рекапчи - только анонимные прокси
2я задача - google position 300 потоков без рекапчи - долбежка - анонимные + публичные прокси

 

[malexoid]

вот очередной раз откатился на .93 версию и сразу скорость возросла и капчей меньше стало.

 

[Support]

Попробуйте запустить на 108-й версии только одну задачу: google modern и отпишитесь о том, как будет работать.

 

[malexoid]

тоже самое, на 108 капч слишком много, не справляется xevil

 

[Kreola]

На anti-captcha в 200 повторов, тоже есть много 0-х результатов

 

[Kreola]

А вот еще момент
Запросы в гугле
Fotokontrollerid site:ee
Fotokvadītāji site:lv
Fotokvadai site:lt
не выдают результатов, но парсер упорно перебирает позиции и ловит кучу капч

 

[Support]

тоже самое, на 108 капч слишком много, не справляется xevil

Напишите мне по любому удобному контакту (Telegram: @aparser, или в Skype: a-parser), нужно искать проблему на вашем парсере.

На anti-captcha в 200 повторов, тоже есть много 0-х результатов

Уточните, пожалуйста, что вы имеете в виду. 0-е результаты - это в которых нет результатов, или это неудачные?

А вот еще момент
Запросы в гугле
Fotokontrollerid site:ee
Fotokvadītāji site:lv
Fotokvadai site:lt
не выдают результатов, но парсер упорно перебирает позиции и ловит кучу капч

Покажите, пожалуйста, лог задания, где видно подобное поведение. По указанным вами запросам в гугле действительно нет результатов, и парсер не перебирает попытки, а сразу переходит к следующему.

 

[Kreola]

Прощу прощения, сегодня пересмотрел все нормально. Видимо я с 104 перепутал.

 

[malexoid]

Напишите мне по любому удобному контакту (Telegram: @aparser, или в Skype: a-parser), нужно искать проблему на вашем парсере.

извиняюсь, был занят, сейчас у меня с проксями проблема, не могу показать ( попозже нормализуется