Улучшен парсинг, теперь бан прокси опять в рамках нормы. Также удалена переменная $trustflow, т.к. Majestic больше не отдает этот показатель без авторизации.
Возможно это то у вас 300 проксей и только 1200 запросов обработано. У меня на потоке 50 проксей нормально отработало 15к доменов дальше пошли неудачи. Добавил 10 проксей SOCKS5 со стороннего сервиса - обработало 25 доменов и потом неудачи.
Попробуйте использовать больше проксей и увеличить кол-во потоков. Majestic очень быстро банит IP, буквально через несколько запросов. Поэтому нужно очень много "чистых" прокси. Мы дополнительно проверили, непосредственно в парсере проблемы нет, и повлиять на это нельзя.
Жаль, что повлиять нельзя. Может всё-таки время запроса можно увеличить попробовать? ( к примеру, с одного ИП делать запрос только 1 раз в минуту) - так будет всё происходить дольше, но по крайней мере может бана не будет, не? Если больше проксей, то понятно что будет работать нормально. Надо 10 Млн проксей)
Если вы имеете в виду задержку запроса, то существует параметр Request delay, с помощью которого вы можете задать нужные задаржки. https://a-parser.com/wiki/settings-and-presets/#Общие-настройки-для-всех-парсеров
