1. Этот сайт использует файлы cookie. Продолжая пользоваться данным сайтом, Вы соглашаетесь на использование нами Ваших файлов cookie. Узнать больше.
  2. Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 2600+ и мы растем!
    Скрыть объявление
Файлы cookie Telegram чат

Странность при парсинге

Тема в разделе "Техническая поддержка", создана пользователем kolya757, 19 май 2019.

  1. kolya757

    kolya757 A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    13 ноя 2014
    Сообщения:
    31
    Симпатии:
    5
    Добрый день!
    Парсю сайт
    Сначало пытаюсь собрать ссылки при помощи парсера HTML::LinkExtractor , но пишет что прокси попадают в бан, хотя раньше этот парсер на этом сайте работал, но при этом на этих же проксях с этогоже сайта собирается контент через парсер Net::HTTP, просто ссылки добавляю руками.
    Подскажите в чем может быть загвостка при сборе ссылок HTML::LinkExtractor?
     
    #1 kolya757, 19 май 2019
    Последнее редактирование: 19 май 2019
  2. relay

    relay A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    22 июл 2013
    Сообщения:
    156
    Симпатии:
    102
    обычно нужно конфиги и пресеты смотреть и сравнивать, на вскидку request delay, user agent и т.п.
     
    #2 relay, 19 май 2019
    Support и kolya757 нравится это.
  3. kolya757

    kolya757 A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    13 ноя 2014
    Сообщения:
    31
    Симпатии:
    5
    Благодарю! юзер агент поменял заработало.
     
    #3 kolya757, 19 май 2019
    Support, Forbidden и relay нравится это.
(Вы должны войти или зарегистрироваться, чтобы разместить сообщение.)

Поделиться этой страницей