Пресет Проверка сайта на ошибку 404 1.0

[Валерий]

Вечер добрый!
Подскажите, возможно ли через A-parser сделать проверку сайта на 404 ошибку? Т.е. по всем внутренним ссылкам пройтись, и посмотреть их ответ.
Если да, то просьба подсказать, как?)

 

[Forbidden]

• Используем парсер HTML::LinkExtractor для извлечения ссылок
• Используем опцию Parse to level для перехода в глубь сайта до указанного уровня, совместно с опцией Уникальные запросы
• Проверяем все коды ответов(Good status: all)
• Фильтруем результаты по интересующему нас коду - 404
• Сохраняем в результат сам запрос(ссылки на страницы, где был получен ответ 404)

Спойлер: Код пресета

eyJwcmVzZXQiOiJDaGVjayA0MDQgTm90IGZvdW5kICh0b3BpYy0xNTQ0KSIsInZh
bHVlIjp7InByZXNldCI6IkNoZWNrIDQwNCBOb3QgZm91bmQgKHRvcGljLTE1NDQp
IiwicGFyc2VycyI6W1siSFRNTDo6TGlua0V4dHJhY3RvciIsImRlZmF1bHQiLHsi
dHlwZSI6Im92ZXJyaWRlIiwiaWQiOiJ1c2Vwcm94eSIsInZhbHVlIjpmYWxzZX0s
eyJ0eXBlIjoib3ZlcnJpZGUiLCJpZCI6Imdvb2RDb2RlIiwidmFsdWUiOiIifSx7
InR5cGUiOiJmaWx0ZXIiLCJyZXN1bHQiOiJjb2RlIiwiZmlsdGVyVHlwZSI6ImVx
dWFsIiwidmFsdWUiOiI0MDQiLCJvcHRpb24iOiJzZW5zIn0seyJ0eXBlIjoib3B0
aW9ucyIsImlkIjoicGFyc2VMZXZlbCIsInZhbHVlIjo1fV1dLCJyZXN1bHRzRm9y
bWF0IjoiJHF1ZXJ5XFxuIiwicmVzdWx0c1NhdmVUbyI6ImZpbGUiLCJyZXN1bHRz
RmlsZU5hbWUiOiIkZGF0ZWZpbGUuZm9ybWF0KCkudHh0IiwiYWRkaXRpb25hbEZv
cm1hdHMiOltdLCJyZXN1bHRzVW5pcXVlIjoibm8iLCJxdWVyeUZvcm1hdCI6WyIk
cXVlcnkiXSwidW5pcXVlUXVlcmllcyI6dHJ1ZSwic2F2ZUZhaWxlZFF1ZXJpZXMi
OmZhbHNlLCJpdGVyYXRvck9wdGlvbnMiOnsib25BbGxMZXZlbHMiOmZhbHNlLCJx
dWVyeUJ1aWxkZXJzQWZ0ZXJJdGVyYXRvciI6ZmFsc2V9LCJyZXN1bHRzT3B0aW9u
cyI6eyJvdmVyd3JpdGUiOmZhbHNlfSwiZG9Mb2ciOiJubyIsImtlZXBVbmlxdWUi
OiJObyIsIm1vcmVPcHRpb25zIjpmYWxzZSwicmVzdWx0c1ByZXBlbmQiOiIiLCJy
ZXN1bHRzQXBwZW5kIjoiIiwicXVlcnlCdWlsZGVycyI6W10sInJlc3VsdHNCdWls
ZGVycyI6W10sImNvbmZpZ092ZXJyaWRlcyI6W119fQ==

 

[samcram]

А как изменить настройки, если мне нужны коды ответа 404 или 429? или вообще все 4xx?

 

[Support]

Измените фильтр: тип RegEx match и регулярка (404|429) или (4\d\d)

 

[SergaevOleg]

Здравствуйте.
Ещё бы оно показывало на каких страницах эти ссылки с 404.
нужно понимать, где эти ссылки битые на страницах. Или это рандом?
Он лазит по страницам, я могу рандом написать и тоже будет 404

 

[Support]

Ещё бы оно показывало на каких страницах эти ссылки с 404.

Добавьте в вывод $query.prev и сможете видеть на каких страницах размещаются эти ссылки.

Или это рандом?
Он лазит по страницам, я могу рандом написать и тоже будет 404

Не совсем понятно откуда такой вывод...