1. Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 2600+ и мы растем!
    Скрыть объявление

Странность при парсинге

Тема в разделе "Техническая поддержка", создана пользователем kolya757, 19 май 2019.

  1. kolya757

    kolya757 A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    13 ноя 2014
    Сообщения:
    31
    Симпатии:
    5
    Добрый день!
    Парсю сайт
    Сначало пытаюсь собрать ссылки при помощи парсера HTML::LinkExtractor , но пишет что прокси попадают в бан, хотя раньше этот парсер на этом сайте работал, но при этом на этих же проксях с этогоже сайта собирается контент через парсер Net::HTTP, просто ссылки добавляю руками.
    Подскажите в чем может быть загвостка при сборе ссылок HTML::LinkExtractor?
     
    #1 kolya757, 19 май 2019
    Последнее редактирование: 19 май 2019
  2. relay

    relay A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    22 июл 2013
    Сообщения:
    157
    Симпатии:
    103
    обычно нужно конфиги и пресеты смотреть и сравнивать, на вскидку request delay, user agent и т.п.
     
    Support и kolya757 нравится это.
  3. kolya757

    kolya757 A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    13 ноя 2014
    Сообщения:
    31
    Симпатии:
    5
    Благодарю! юзер агент поменял заработало.
     
    Support, Forbidden и relay нравится это.

Поделиться этой страницей