С включенным robots.txt:
С выключенным robots.txt:
Видим следующую ситуацию.
В первом случае парсер сообщает, что не может получить robots.txt, так как идет 301 редирект с
http://oplace.ru/robots.txt на https://oplace.ru/robots.txt - и говорит, что ссылки на странице нет.
Во втором случае:
По факту со страницы
http://oplace.ru/stati/prazdniki/kratkie-pozdravlenija-s-dnem-rozhdenija-.html идет редирект 301 на
https://oplace.ru/stati/prazdniki/kratkie-pozdravlenija-s-dnem-rozhdenija-.html , хотя в логах это почему-то не показывается, но он есть, выяснили это в поддержке. И, соответственно, парсер говорит, что всё ок, ссылка на странице есть.
Должна быть определенная логика. Если разработчики считают, что когда проверяешь беклинки, и страница редиректится с http на https - это нормальная ситауция, можно засчитывать, что ссылка размещена на странице. То почему нет такой же логики с robots.txt (301 редирект с http на https)?
Прошу устранить данное несоответствие, а именно, корректно обрабатывать robots.xt при 301 редиректе на https.
С выключенным robots.txt:
Видим следующую ситуацию.
В первом случае парсер сообщает, что не может получить robots.txt, так как идет 301 редирект с
http://oplace.ru/robots.txt на https://oplace.ru/robots.txt - и говорит, что ссылки на странице нет.
Во втором случае:
По факту со страницы
http://oplace.ru/stati/prazdniki/kratkie-pozdravlenija-s-dnem-rozhdenija-.html идет редирект 301 на
https://oplace.ru/stati/prazdniki/kratkie-pozdravlenija-s-dnem-rozhdenija-.html , хотя в логах это почему-то не показывается, но он есть, выяснили это в поддержке. И, соответственно, парсер говорит, что всё ок, ссылка на странице есть.
Должна быть определенная логика. Если разработчики считают, что когда проверяешь беклинки, и страница редиректится с http на https - это нормальная ситауция, можно засчитывать, что ссылка размещена на странице. То почему нет такой же логики с robots.txt (301 редирект с http на https)?
Прошу устранить данное несоответствие, а именно, корректно обрабатывать robots.xt при 301 редиректе на https.