Проверка сайта на ошибку 404

Пресет Проверка сайта на ошибку 404 1.0

Available for license holders

Валерий

A-Parser Enterprise License
A-Parser Enterprise
Вечер добрый!
Подскажите, возможно ли через A-parser сделать проверку сайта на 404 ошибку? Т.е. по всем внутренним ссылкам пройтись, и посмотреть их ответ.
Если да, то просьба подсказать, как?)
 
j49ru.png


  • Используем парсер HTML::LinkExtractor HTML::LinkExtractor для извлечения ссылок
  • Используем опцию Parse to level для перехода в глубь сайта до указанного уровня, совместно с опцией Уникальные запросы
  • Проверяем все коды ответов(Good status: all)
  • Фильтруем результаты по интересующему нас коду - 404
  • Сохраняем в результат сам запрос(ссылки на страницы, где был получен ответ 404)
Код:
eyJwcmVzZXQiOiJDaGVjayA0MDQgTm90IGZvdW5kICh0b3BpYy0xNTQ0KSIsInZh
bHVlIjp7InByZXNldCI6IkNoZWNrIDQwNCBOb3QgZm91bmQgKHRvcGljLTE1NDQp
IiwicGFyc2VycyI6W1siSFRNTDo6TGlua0V4dHJhY3RvciIsImRlZmF1bHQiLHsi
dHlwZSI6Im92ZXJyaWRlIiwiaWQiOiJ1c2Vwcm94eSIsInZhbHVlIjpmYWxzZX0s
eyJ0eXBlIjoib3ZlcnJpZGUiLCJpZCI6Imdvb2RDb2RlIiwidmFsdWUiOiIifSx7
InR5cGUiOiJmaWx0ZXIiLCJyZXN1bHQiOiJjb2RlIiwiZmlsdGVyVHlwZSI6ImVx
dWFsIiwidmFsdWUiOiI0MDQiLCJvcHRpb24iOiJzZW5zIn0seyJ0eXBlIjoib3B0
aW9ucyIsImlkIjoicGFyc2VMZXZlbCIsInZhbHVlIjo1fV1dLCJyZXN1bHRzRm9y
bWF0IjoiJHF1ZXJ5XFxuIiwicmVzdWx0c1NhdmVUbyI6ImZpbGUiLCJyZXN1bHRz
RmlsZU5hbWUiOiIkZGF0ZWZpbGUuZm9ybWF0KCkudHh0IiwiYWRkaXRpb25hbEZv
cm1hdHMiOltdLCJyZXN1bHRzVW5pcXVlIjoibm8iLCJxdWVyeUZvcm1hdCI6WyIk
cXVlcnkiXSwidW5pcXVlUXVlcmllcyI6dHJ1ZSwic2F2ZUZhaWxlZFF1ZXJpZXMi
OmZhbHNlLCJpdGVyYXRvck9wdGlvbnMiOnsib25BbGxMZXZlbHMiOmZhbHNlLCJx
dWVyeUJ1aWxkZXJzQWZ0ZXJJdGVyYXRvciI6ZmFsc2V9LCJyZXN1bHRzT3B0aW9u
cyI6eyJvdmVyd3JpdGUiOmZhbHNlfSwiZG9Mb2ciOiJubyIsImtlZXBVbmlxdWUi
OiJObyIsIm1vcmVPcHRpb25zIjpmYWxzZSwicmVzdWx0c1ByZXBlbmQiOiIiLCJy
ZXN1bHRzQXBwZW5kIjoiIiwicXVlcnlCdWlsZGVycyI6W10sInJlc3VsdHNCdWls
ZGVycyI6W10sImNvbmZpZ092ZXJyaWRlcyI6W119fQ==
 
А как изменить настройки, если мне нужны коды ответа 404 или 429? или вообще все 4xx?
 
Измените фильтр: тип RegEx match и регулярка (404|429) или (4\d\d)
 
Здравствуйте.
Ещё бы оно показывало на каких страницах эти ссылки с 404.
нужно понимать, где эти ссылки битые на страницах. Или это рандом?
Он лазит по страницам, я могу рандом написать и тоже будет 404
 
Ещё бы оно показывало на каких страницах эти ссылки с 404.
Добавьте в вывод $query.prev и сможете видеть на каких страницах размещаются эти ссылки.
Или это рандом?
Он лазит по страницам, я могу рандом написать и тоже будет 404
Не совсем понятно откуда такой вывод...
 
Назад
Верх