1. Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 2600+ и мы растем!
    Скрыть объявление

Улучшение Check::BackLink - правильная логика обработки

Тема в разделе "Задачи", создана пользователем creck, 29 дек 2020.

  1. creck

    creck A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    18 апр 2014
    Сообщения:
    46
    Симпатии:
    7
    Здравствуйте.
    Столкнулся с такой проблемой. При проверке урлов на наличие обратной ссылки, оказалось, что при включенной опции проверки robots.txt, и когда а парсер видит что страница закрыты в роботсе, то в результат заносит все none.
    Получается, что не проверяет дальше, есть ли там ссылка, нофоллов и тд. а сразу все none

    Как по мне, то логика не правильная. В перую очередь, нужно проверять если ссылка вообще на стрнаице, это основной параметр. А дополнительные, это закрыта ли она в роботсе, и тд.

    Каждый использует этот инструмент для разных целях, и при отключении проверки робтс, приходится дважды проверять одну и ту же базу.

    Как по мне, то это не правильно. И очень прошу, либо исправить, либо добавить опцию. Которая будет заносить в результаты все данные. А не ставить главный параметр роботс, после которого все отключается.

    Пример ссылок могу дать в ЛС (не хочу светить тут). При включеном робтсе нет не одного результата, когда октлючаю, все есть, и ссылка, и остальные параметры.

    Спасибо!
     
  2. creck

    creck A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    18 апр 2014
    Сообщения:
    46
    Симпатии:
    7
    Добрый вечер. Можете что то ответить?
    Напишите хоть что то. Типа пошёл, нечего нас учить все хорошо работает )))

    Кстати, есть ООчень много доноров, где есть активлинк, но Check::BackLink напрочь не видит.
    Что не ставил в настройках, не видит ссылку и все.

    Если есть желание доработать этот Check::BackLink - что бы он работал лучше, напишите. Предоставлю все данные, и могу тестировать.
    Проверять есть что + все руками проверяю.
     
  3. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    4.547
    Симпатии:
    2.164
    Если задача не отклонена, значит она будет реализована в будущем.
    Если у вас есть дополнительные замечания/пожелания - то опишите их здесь.
     
  4. creck

    creck A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    18 апр 2014
    Сообщения:
    46
    Симпатии:
    7
    Спасибо. По роботсу только одно. Если закрыта ссылка в роботс тхт - то все равно, нужно проверять ее наличии на странице.
    И отмечать соответственно. Ссылка есть, ссылка закрыта. Все как и сейчас, только нужно проверять ссылку обязательно.

    теперь по другому. Сейчас могу дать очень много ссылок, где при проверке вручную есть ссылка и активлинк. Но Check::BackLink не видит (((
    если так проверять, то очень много можно потерять.

    например с 2700 урлов 420 а парсер не нашел, но она там есть, вот в чем дело.
    Что не делал с настройками, не находит.

    Могу отправить в личку, или в телегу, что бы вместе разобраться
     
  5. creck

    creck A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    18 апр 2014
    Сообщения:
    46
    Симпатии:
    7
    На некоторых вижу такую ошибку в тесте
    597 SSL/TLS handshake error: Hostname/IP does not match certificate's altnames: Host: www.ozerck.ucoz.ru. is not in the cert's altnames: DNS:*.ucoz.ru, DNS:ucoz.ru (0 KB)

    Подскажите пожалуйста, как ее решить?
     
  6. creck

    creck A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    18 апр 2014
    Сообщения:
    46
    Симпатии:
    7
    Добрый день. Остался вопрос по 597 SSL/TLS handshake error: unable to verify the first certificate (0 KB)
    Все сайты с кодом 597 не проверяет! Таких много, и ссылка там активная!
    Что делать?
     
  7. relay

    relay A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    22 июл 2013
    Сообщения:
    157
    Симпатии:
    103
    Для того, чтобы не возникала данная ошибка, можно запустить А-Парсер с параметром
    Код:
    -asynchttpx-disable-cert-check
    Подробнее о запуске с параметрами: https://a-parser.com/wiki/additional-settings/#Параметры-командной-строки
     
    creck и Support нравится это.
  8. creck

    creck A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    18 апр 2014
    Сообщения:
    46
    Симпатии:
    7
    Спасибо большое! Да, работает )))
    Осталась теперь одна задача.

    Что бы проверяло наличие ссылки, не зависимо закрыта ли она или открыта в роботс.

    То есть, при включенной проверке проверить роботс, и когда парсер заметил что страница закрыта, все равно проверял наличии ссылки.
    Можно просто добавить галочку в настройке, или дайте мне костыль, параметр, что бы я Вас не тошнил ))

    Спасибо!
     

Поделиться этой страницей