1. Этот сайт использует файлы cookie. Продолжая пользоваться данным сайтом, Вы соглашаетесь на использование нами Ваших файлов cookie. Узнать больше.
  2. Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 2200+ и мы растем!
    Скрыть объявление

Пресет Проверка сайта на ошибку 404 1.0

Поиск на сайте несуществующих страниц

  1. Валерий

    Валерий A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    20 сен 2014
    Сообщения:
    8
    Симпатии:
    0
    Вечер добрый!
    Подскажите, возможно ли через A-parser сделать проверку сайта на 404 ошибку? Т.е. по всем внутренним ссылкам пройтись, и посмотреть их ответ.
    Если да, то просьба подсказать, как?)
     
  2. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.331
    Симпатии:
    1.781
    [​IMG]

    • Используем парсер HTML::LinkExtractor HTML::LinkExtractor для извлечения ссылок
    • Используем опцию Parse to level для перехода в глубь сайта до указанного уровня, совместно с опцией Уникальные запросы
    • Проверяем все коды ответов(Good status: all)
    • Фильтруем результаты по интересующему нас коду - 404
    • Сохраняем в результат сам запрос(ссылки на страницы, где был получен ответ 404)
    Код:
    eyJwcmVzZXQiOiJDaGVjayA0MDQgTm90IGZvdW5kICh0b3BpYy0xNTQ0KSIsInZh
    bHVlIjp7InByZXNldCI6IkNoZWNrIDQwNCBOb3QgZm91bmQgKHRvcGljLTE1NDQp
    IiwicGFyc2VycyI6W1siSFRNTDo6TGlua0V4dHJhY3RvciIsImRlZmF1bHQiLHsi
    dHlwZSI6Im92ZXJyaWRlIiwiaWQiOiJ1c2Vwcm94eSIsInZhbHVlIjpmYWxzZX0s
    eyJ0eXBlIjoib3ZlcnJpZGUiLCJpZCI6Imdvb2RDb2RlIiwidmFsdWUiOiIifSx7
    InR5cGUiOiJmaWx0ZXIiLCJyZXN1bHQiOiJjb2RlIiwiZmlsdGVyVHlwZSI6ImVx
    dWFsIiwidmFsdWUiOiI0MDQiLCJvcHRpb24iOiJzZW5zIn0seyJ0eXBlIjoib3B0
    aW9ucyIsImlkIjoicGFyc2VMZXZlbCIsInZhbHVlIjo1fV1dLCJyZXN1bHRzRm9y
    bWF0IjoiJHF1ZXJ5XFxuIiwicmVzdWx0c1NhdmVUbyI6ImZpbGUiLCJyZXN1bHRz
    RmlsZU5hbWUiOiIkZGF0ZWZpbGUuZm9ybWF0KCkudHh0IiwiYWRkaXRpb25hbEZv
    cm1hdHMiOltdLCJyZXN1bHRzVW5pcXVlIjoibm8iLCJxdWVyeUZvcm1hdCI6WyIk
    cXVlcnkiXSwidW5pcXVlUXVlcmllcyI6dHJ1ZSwic2F2ZUZhaWxlZFF1ZXJpZXMi
    OmZhbHNlLCJpdGVyYXRvck9wdGlvbnMiOnsib25BbGxMZXZlbHMiOmZhbHNlLCJx
    dWVyeUJ1aWxkZXJzQWZ0ZXJJdGVyYXRvciI6ZmFsc2V9LCJyZXN1bHRzT3B0aW9u
    cyI6eyJvdmVyd3JpdGUiOmZhbHNlfSwiZG9Mb2ciOiJubyIsImtlZXBVbmlxdWUi
    OiJObyIsIm1vcmVPcHRpb25zIjpmYWxzZSwicmVzdWx0c1ByZXBlbmQiOiIiLCJy
    ZXN1bHRzQXBwZW5kIjoiIiwicXVlcnlCdWlsZGVycyI6W10sInJlc3VsdHNCdWls
    ZGVycyI6W10sImNvbmZpZ092ZXJyaWRlcyI6W119fQ==
     
    Валерий нравится это.
  3. samcram

    samcram A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    12 авг 2015
    Сообщения:
    10
    Симпатии:
    2
    А как изменить настройки, если мне нужны коды ответа 404 или 429? или вообще все 4xx?
     
  4. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    3.830
    Симпатии:
    1.961
    Измените фильтр: тип RegEx match и регулярка (404|429) или (4\d\d)
     
    Forbidden нравится это.
  5. SergaevOleg

    SergaevOleg A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    18 апр 2017
    Сообщения:
    4
    Симпатии:
    0
    Здравствуйте.
    Ещё бы оно показывало на каких страницах эти ссылки с 404.
    нужно понимать, где эти ссылки битые на страницах. Или это рандом?
    Он лазит по страницам, я могу рандом написать и тоже будет 404
     
  6. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    3.830
    Симпатии:
    1.961
    Добавьте в вывод $query.prev и сможете видеть на каких страницах размещаются эти ссылки.
    Не совсем понятно откуда такой вывод...
     

Поделиться этой страницей