Улучшение [1.2.2036] Работа SE::Yandex

На фоне усиления защиты со стороны Яндекса был внесен ряд правок в SE::Yandex
На данный момент ситуация такая:
Лучше всего парсится 1 страница выдачи, даже без увеличения количества попыток:

Спойлер: 1 страница выдачи, остальные настройки по дефолту

Чем больше страниц выдачи, тем сложнее парсить. Разгадывание каптч немного улучшает ситуацию, но не сильно:

Спойлер: Подключен антигейт, остальные настройки по дефолту (кол-во страниц выдачи - 5)

Рекомендации по парсингу Яндекса

• Минимизировать количество страниц выдачи для парсинга
• Использовать как можно более чистые прокси и как можно больше
• Увеличивать количество попыток
• Использовать антигейт (на данный момент каптчу Яндекса умеют разгадывать 2captcha, RuCaptcha и Captcha.Guru)

Также, при подключенном антигейте можно экспериментировать с опцией Experimental img captcha max count, которая указывает парсеру повторять попытки без сброса сессии при повторных каптчах. В некоторых случаях это улучшает производительность.

 

2 страницы выдачи, 50 попыток, без антигейта, 300 потоков