1. Этот сайт использует файлы cookie. Продолжая пользоваться данным сайтом, Вы соглашаетесь на использование нами Ваших файлов cookie. Узнать больше.
  2. Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 2600+ и мы растем!
    Скрыть объявление
Файлы cookie Telegram чат

Вопрос по опции Max redirects count

Тема в разделе "Техническая поддержка", создана пользователем seowin555, 5 июн 2020.

  1. seowin555

    seowin555 A-Parser Pro License
    A-Parser Pro

    Регистрация:
    29 сен 2016
    Сообщения:
    186
    Симпатии:
    37
    Доброе утро!
    Подскажите, пожалуйста, как работает опция "Max redirects count" в парсерах: Net::HTTP и HTML::LinkExtractor?
    Есть такая задача, нужно найти определенные движки.
    Для ускорения парсинга я сначала прошел по базе доменов с парсером Net::HTTP, ищу код 200 ОК, с методом HEAD.
    Далее с помощью этого парсера и регулярных выражений ищу определенный код.
    Но вот проблема, на многих сайтах идет, например, редирект на другой сайт и а-парсер считает домен как код "200 ОК", как я понимаю, все из-за опции "Max redirects count"? У меня стоит в настройках Max redirects count=7.
    В моем случае при поиске "200 ОК" и поиске кода нужной строки нужно отключать Max redirects count?
    Так как я понимаю, парсер проверяет конечный ответ, будь то там 301 редирект или любой другой, но если конечный сайт отвечает 200 ОК, то парсер запишет 200 ОК и также перейдет по нему если будет стоять Good Status 200 OK, все ли так?
     
    #1 seowin555, 5 июн 2020
  2. relay

    relay A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    22 июл 2013
    Сообщения:
    157
    Симпатии:
    102
    #2 relay, 5 июн 2020
    seowin555 нравится это.
  3. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    4.377
    Симпатии:
    2.107
    Попробуйте Max redirects count = 0 и включить Follow common redirects.
    Это позволит обрабатывать внутренние редиректы, но не переходить на другие домены.
    https://a-parser.com/threads/4602/
     
    #3 Support, 5 июн 2020
    seowin555 нравится это.
  4. seowin555

    seowin555 A-Parser Pro License
    A-Parser Pro

    Регистрация:
    29 сен 2016
    Сообщения:
    186
    Симпатии:
    37
    Как раз так и хотел делать. Спасибо!
    Такой вопрос, а Max redirects count и Follow common redirects будут работать ведь и при методе HEAD?
    Или они работают только при get запросах?
     
    #4 seowin555, 5 июн 2020
  5. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    4.377
    Симпатии:
    2.107
    Да, должны работать.
    Но можно оставить метод запроса GET и включить опцию Read only headers, будет по сути то же самое, но немного правильнее.
     
    #5 Support, 5 июн 2020
    seowin555 нравится это.
  6. Amapar

    Amapar A-Parser Pro License
    A-Parser Pro

    Регистрация:
    11 май 2020
    Сообщения:
    6
    Симпатии:
    2

    Или есть какие-то способы на данный момент использовать Net::HTTP сразу после результатов SE::Google в 1 задаче?
     
    #6 Amapar, 5 июн 2020
  7. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    4.377
    Симпатии:
    2.107
    В рамках одного пресета нельзя.
     
    #7 Support, 5 июн 2020
(Вы должны войти или зарегистрироваться, чтобы разместить сообщение.)

Поделиться этой страницей