1. Этот сайт использует файлы cookie. Продолжая пользоваться данным сайтом, Вы соглашаетесь на использование нами Ваших файлов cookie. Узнать больше.
  2. Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 2600+ и мы растем!
    Скрыть объявление
Файлы cookie Telegram чат

Ошибка [1.2.156] Rank::MajesticSEO банит большую часть IP

Тема в разделе "1.2.160", создана пользователем Support Денис, 27 фев 2018.

Метки:
  1. Support Денис

    Support Денис A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    12 июн 2017
    Сообщения:
    586
    Симпатии:
    185
    #1 Support Денис, 27 фев 2018
  2. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    4.377
    Симпатии:
    2.107
    Улучшен парсинг, теперь бан прокси опять в рамках нормы.
    Также удалена переменная $trustflow, т.к. Majestic больше не отдает этот показатель без авторизации.
     
    #2 Support, 28 фев 2018
    Alex, relay и Support Юра нравится это.
  3. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    4.377
    Симпатии:
    2.107
    Повторное исправление в 1.2.156
     
    #3 Support, 22 мар 2018
  4. nikolan

    nikolan A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    2 апр 2018
    Сообщения:
    20
    Симпатии:
    0
    Снова банит прокси. Можно как-то этого избежать? Можно таймаут запросов уменьшить?
     
    #4 nikolan, 29 янв 2019
  5. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    4.377
    Симпатии:
    2.107
    Никаких проблем не замечено (настройки по-умолчанию, прокси наши):
    [​IMG]
     
    #5 Support, 30 янв 2019
  6. nikolan

    nikolan A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    2 апр 2018
    Сообщения:
    20
    Симпатии:
    0
    Возможно это то у вас 300 проксей и только 1200 запросов обработано. У меня на потоке 50 проксей нормально отработало 15к доменов дальше пошли неудачи. Добавил 10 проксей SOCKS5 со стороннего сервиса - обработало 25 доменов и потом неудачи.
     
    #6 nikolan, 30 янв 2019
  7. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    4.377
    Симпатии:
    2.107
    Попробуйте использовать больше проксей и увеличить кол-во потоков. Majestic очень быстро банит IP, буквально через несколько запросов. Поэтому нужно очень много "чистых" прокси.
    Мы дополнительно проверили, непосредственно в парсере проблемы нет, и повлиять на это нельзя.
     
    #7 Support, 30 янв 2019
  8. nikolan

    nikolan A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    2 апр 2018
    Сообщения:
    20
    Симпатии:
    0
    Жаль, что повлиять нельзя. Может всё-таки время запроса можно увеличить попробовать?
    ( к примеру, с одного ИП делать запрос только 1 раз в минуту) - так будет всё происходить дольше, но по крайней мере может бана не будет, не?

    Если больше проксей, то понятно что будет работать нормально. Надо 10 Млн проксей)
     
    #8 nikolan, 30 янв 2019
  9. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    4.377
    Симпатии:
    2.107
    Если вы имеете в виду задержку запроса, то существует параметр Request delay, с помощью которого вы можете задать нужные задаржки.
    https://a-parser.com/wiki/settings-and-presets/#Общие-настройки-для-всех-парсеров
     
    #9 Support, 30 янв 2019
(Вы должны войти или зарегистрироваться, чтобы разместить сообщение.)

Поделиться этой страницей