1. Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 2600+ и мы растем!
    Скрыть объявление

Ошибка [1.1.481] баг в LinkExtractor?

Тема в разделе "1.1.481", создана пользователем malexoid, 6 апр 2016.

  1. malexoid

    malexoid A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    7 сен 2015
    Сообщения:
    256
    Симпатии:
    60
    Пример:

    1. берется страница http://www.test.com/a/b/
    2. на этой странице есть ссылки на ./c/ и ./d/
    3. парсер берет страницу http://www.test.com/a/b/c/
    4. вместо ответа 200, сервер возвращает 301 на http://www.test.com/a/b/
    5. в этом месте происходит следующее: вдруг парсер делает запросы к страницам http://www.test.com/a/b/c/d/ и http://www.test.com/a/b/c/c/ хотя ссылок на такие страницы не существует.

    видимо в п.4. парсер считает, что текущая страница осталась http://www.test.com/a/b/c/, хотя 301 редирект привел нас к странице http://www.test.com/a/b/
     
  2. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.337
    Симпатии:
    1.794
    исправлено, также исправлен тестировщик заданий при некоторых случаях использования Parse to level
     

Поделиться этой страницей