1. Этот сайт использует файлы cookie. Продолжая пользоваться данным сайтом, Вы соглашаетесь на использование нами Ваших файлов cookie. Узнать больше.
  2. Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 2600+ и мы растем!
    Скрыть объявление
Файлы cookie Telegram чат

Net::HTTP Next page found, but URL is undefined

Тема в разделе "Техническая поддержка", создана пользователем webdev, 21 ноя 2018.

Метки:
  1. webdev

    webdev New Member

    Регистрация:
    26 сен 2017
    Сообщения:
    21
    Симпатии:
    4
    Доброго времени суток!

    Используется A-Parser версии 1.2.240. Источник парсится через Net::HTTP.

    Задача:     Нужно извлечь ссылку на следующую страницу с помощью "Next page RegEx". Регулярку проверил, работает на html-контенте страницы.

    Проблема: Почему-то в логе появляется сообщение "Next page found, but URL is undefined". Следующая страница сайта не поступает на парсинг.

    Подскажите, пожалуйста, что конкретно означает фраза URL is undefined? Где искать ошибку?
     
    #1 webdev, 21 ноя 2018
  2. Support Денис

    Support Денис A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    12 июн 2017
    Сообщения:
    586
    Симпатии:
    185
    Здравствуйте. Это сообщение означает, что урл для следующей страницы некорректен.
    Выведите в формате результата , то что собирается с помощью этой регулярки, чтобы увидеть что именно в этом урле не так.
     
    #2 Support Денис, 21 ноя 2018
  3. webdev

    webdev New Member

    Регистрация:
    26 сен 2017
    Сообщения:
    21
    Симпатии:
    4
    Да, там есть нюанс - в URL'е заэскейпены символы амперсанда. Вместо & используется &. Можно отключить эту проверку? Или есть какое-то другое решение?
     
    #3 webdev, 21 ноя 2018
  4. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    4.377
    Симпатии:
    2.107
    HTML сущности в Next page преобразуются автоматически.
    А указанная ошибка скорее всего указывает на то, что урл следующей страницы забирается вместе с доменом. Он должен быть без домена.
     
    #4 Support, 21 ноя 2018
  5. webdev

    webdev New Member

    Регистрация:
    26 сен 2017
    Сообщения:
    21
    Симпатии:
    4
    Спасибо! Попробую без домена.
     
    #5 webdev, 21 ноя 2018
    Support нравится это.
  6. webdev

    webdev New Member

    Регистрация:
    26 сен 2017
    Сообщения:
    21
    Симпатии:
    4
    Отлично! Без домена сработало. Спасибо за помощь!

    P.S. Предлагаю зафиксировать это в документации, а то я не нашел :)
     
    #6 webdev, 21 ноя 2018
    vipuncle и Support нравится это.
(Вы должны войти или зарегистрироваться, чтобы разместить сообщение.)

Поделиться этой страницей