1. Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 2600+ и мы растем!
    Скрыть объявление

Net::HTTP Next page found, but URL is undefined

Тема в разделе "Техническая поддержка", создана пользователем webdev, 21 ноя 2018.

Метки:
  1. webdev

    webdev New Member

    Регистрация:
    26 сен 2017
    Сообщения:
    21
    Симпатии:
    4
    Доброго времени суток!

    Используется A-Parser версии 1.2.240. Источник парсится через Net::HTTP.

    Задача:
    Нужно извлечь ссылку на следующую страницу с помощью "Next page RegEx". Регулярку проверил, работает на html-контенте страницы.

    Проблема: Почему-то в логе появляется сообщение "Next page found, but URL is undefined". Следующая страница сайта не поступает на парсинг.

    Подскажите, пожалуйста, что конкретно означает фраза URL is undefined? Где искать ошибку?
     
  2. Support Денис

    Support Денис A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    12 июн 2017
    Сообщения:
    586
    Симпатии:
    185
    Здравствуйте. Это сообщение означает, что урл для следующей страницы некорректен.
    Выведите в формате результата , то что собирается с помощью этой регулярки, чтобы увидеть что именно в этом урле не так.
     
  3. webdev

    webdev New Member

    Регистрация:
    26 сен 2017
    Сообщения:
    21
    Симпатии:
    4
    Да, там есть нюанс - в URL'е заэскейпены символы амперсанда. Вместо & используется &. Можно отключить эту проверку? Или есть какое-то другое решение?
     
  4. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    4.547
    Симпатии:
    2.163
    HTML сущности в Next page преобразуются автоматически.
    А указанная ошибка скорее всего указывает на то, что урл следующей страницы забирается вместе с доменом. Он должен быть без домена.
     
  5. webdev

    webdev New Member

    Регистрация:
    26 сен 2017
    Сообщения:
    21
    Симпатии:
    4
    Спасибо! Попробую без домена.
     
    Support нравится это.
  6. webdev

    webdev New Member

    Регистрация:
    26 сен 2017
    Сообщения:
    21
    Симпатии:
    4
    Отлично! Без домена сработало. Спасибо за помощь!

    P.S. Предлагаю зафиксировать это в документации, а то я не нашел :)
     
    vipuncle и Support нравится это.

Поделиться этой страницей