Ошибка [1.2.156] Rank::MajesticSEO банит большую часть IP

[Support Денис]

Rank::MajesticSEO банит большую часть IP.

 

[Support]

Улучшен парсинг, теперь бан прокси опять в рамках нормы.
Также удалена переменная $trustflow, т.к. Majestic больше не отдает этот показатель без авторизации.

 

[Support]

Повторное исправление в 1.2.156

 

[nikolan]

Снова банит прокси. Можно как-то этого избежать? Можно таймаут запросов уменьшить?

 

[Support]

Никаких проблем не замечено (настройки по-умолчанию, прокси наши):

 

[nikolan]

Возможно это то у вас 300 проксей и только 1200 запросов обработано. У меня на потоке 50 проксей нормально отработало 15к доменов дальше пошли неудачи. Добавил 10 проксей SOCKS5 со стороннего сервиса - обработало 25 доменов и потом неудачи.

 

[Support]

Попробуйте использовать больше проксей и увеличить кол-во потоков. Majestic очень быстро банит IP, буквально через несколько запросов. Поэтому нужно очень много "чистых" прокси.
Мы дополнительно проверили, непосредственно в парсере проблемы нет, и повлиять на это нельзя.

 

[nikolan]

Жаль, что повлиять нельзя. Может всё-таки время запроса можно увеличить попробовать?
( к примеру, с одного ИП делать запрос только 1 раз в минуту) - так будет всё происходить дольше, но по крайней мере может бана не будет, не?

Если больше проксей, то понятно что будет работать нормально. Надо 10 Млн проксей)

 

[Support]

Может всё-таки время запроса можно увеличить попробовать?

Если вы имеете в виду задержку запроса, то существует параметр Request delay, с помощью которого вы можете задать нужные задаржки.
https://a-parser.com/wiki/settings-and-presets/#Общие-настройки-для-всех-парсеров