1. Этот сайт использует файлы cookie. Продолжая пользоваться данным сайтом, Вы соглашаетесь на использование нами Ваших файлов cookie. Узнать больше.
  2. Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 2600+ и мы растем!
    Скрыть объявление

Улучшение [1.2.1385] Сделать корректную обработку редиректа robots.txt с http в парсере Check::BackLink

Тема в разделе "1.2.1403", создана пользователем korzi, 26 ноя 2021.

  1. korzi

    korzi A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    3 дек 2020
    Сообщения:
    5
    Симпатии:
    1
    С включенным robots.txt:
    Screenshot_62.png
    С выключенным robots.txt:
    Screenshot_63.png
    Видим следующую ситуацию.
    В первом случае парсер сообщает, что не может получить robots.txt, так как идет 301 редирект с
    http://oplace.ru/robots.txt на https://oplace.ru/robots.txt - и говорит, что ссылки на странице нет.

    Во втором случае:
    По факту со страницы
    http://oplace.ru/stati/prazdniki/kratkie-pozdravlenija-s-dnem-rozhdenija-.html идет редирект 301 на
    https://oplace.ru/stati/prazdniki/kratkie-pozdravlenija-s-dnem-rozhdenija-.html , хотя в логах это почему-то не показывается, но он есть, выяснили это в поддержке. И, соответственно, парсер говорит, что всё ок, ссылка на странице есть.

    Должна быть определенная логика. Если разработчики считают, что когда проверяешь беклинки, и страница редиректится с http на https - это нормальная ситауция, можно засчитывать, что ссылка размещена на странице. То почему нет такой же логики с robots.txt (301 редирект с http на https)?

    Прошу устранить данное несоответствие, а именно, корректно обрабатывать robots.xt при 301 редиректе на https.
     

Поделиться этой страницей