1. Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 1300+ и мы растем!
    Скрыть объявление

Пресет Проверка сайта на ошибку 404 1.0

Поиск на сайте несуществующих страниц

  1. Валерий

    Валерий A-Parser Pro License
    A-Parser Pro

    Регистрация:
    20 сен 2014
    Сообщения:
    8
    Симпатии:
    0
    Вечер добрый!
    Подскажите, возможно ли через A-parser сделать проверку сайта на 404 ошибку? Т.е. по всем внутренним ссылкам пройтись, и посмотреть их ответ.
    Если да, то просьба подсказать, как?)
     
  2. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.199
    Симпатии:
    1.713
    [​IMG]

    • Используем парсер HTML::LinkExtractor HTML::LinkExtractor для извлечения ссылок
    • Используем опцию Parse to level для перехода в глубь сайта до указанного уровня, совместно с опцией Уникальные запросы
    • Проверяем все коды ответов(Good status: all)
    • Фильтруем результаты по интересующему нас коду - 404
    • Сохраняем в результат сам запрос(ссылки на страницы, где был получен ответ 404)
    Код:
    eyJwcmVzZXQiOiJDaGVjayA0MDQgTm90IGZvdW5kICh0b3BpYy0xNTQ0KSIsInZh
    bHVlIjp7InByZXNldCI6IkNoZWNrIDQwNCBOb3QgZm91bmQgKHRvcGljLTE1NDQp
    IiwicGFyc2VycyI6W1siSFRNTDo6TGlua0V4dHJhY3RvciIsImRlZmF1bHQiLHsi
    dHlwZSI6Im92ZXJyaWRlIiwiaWQiOiJ1c2Vwcm94eSIsInZhbHVlIjpmYWxzZX0s
    eyJ0eXBlIjoib3ZlcnJpZGUiLCJpZCI6Imdvb2RDb2RlIiwidmFsdWUiOiIifSx7
    InR5cGUiOiJmaWx0ZXIiLCJyZXN1bHQiOiJjb2RlIiwiZmlsdGVyVHlwZSI6ImVx
    dWFsIiwidmFsdWUiOiI0MDQiLCJvcHRpb24iOiJzZW5zIn0seyJ0eXBlIjoib3B0
    aW9ucyIsImlkIjoicGFyc2VMZXZlbCIsInZhbHVlIjo1fV1dLCJyZXN1bHRzRm9y
    bWF0IjoiJHF1ZXJ5XFxuIiwicmVzdWx0c1NhdmVUbyI6ImZpbGUiLCJyZXN1bHRz
    RmlsZU5hbWUiOiIkZGF0ZWZpbGUuZm9ybWF0KCkudHh0IiwiYWRkaXRpb25hbEZv
    cm1hdHMiOltdLCJyZXN1bHRzVW5pcXVlIjoibm8iLCJxdWVyeUZvcm1hdCI6WyIk
    cXVlcnkiXSwidW5pcXVlUXVlcmllcyI6dHJ1ZSwic2F2ZUZhaWxlZFF1ZXJpZXMi
    OmZhbHNlLCJpdGVyYXRvck9wdGlvbnMiOnsib25BbGxMZXZlbHMiOmZhbHNlLCJx
    dWVyeUJ1aWxkZXJzQWZ0ZXJJdGVyYXRvciI6ZmFsc2V9LCJyZXN1bHRzT3B0aW9u
    cyI6eyJvdmVyd3JpdGUiOmZhbHNlfSwiZG9Mb2ciOiJubyIsImtlZXBVbmlxdWUi
    OiJObyIsIm1vcmVPcHRpb25zIjpmYWxzZSwicmVzdWx0c1ByZXBlbmQiOiIiLCJy
    ZXN1bHRzQXBwZW5kIjoiIiwicXVlcnlCdWlsZGVycyI6W10sInJlc3VsdHNCdWls
    ZGVycyI6W10sImNvbmZpZ092ZXJyaWRlcyI6W119fQ==
     
    Валерий нравится это.
  3. samcram

    samcram A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    12 авг 2015
    Сообщения:
    10
    Симпатии:
    2
    А как изменить настройки, если мне нужны коды ответа 404 или 429? или вообще все 4xx?
     
  4. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    2.879
    Симпатии:
    1.678
    Измените фильтр: тип RegEx match и регулярка (404|429) или (4\d\d)
     
    Forbidden нравится это.

Поделиться этой страницей