Вечер добрый! Подскажите, возможно ли через A-parser сделать проверку сайта на 404 ошибку? Т.е. по всем внутренним ссылкам пройтись, и посмотреть их ответ. Если да, то просьба подсказать, как?)
Используем парсер HTML::LinkExtractor для извлечения ссылок Используем опцию Parse to level для перехода в глубь сайта до указанного уровня, совместно с опцией Уникальные запросы Проверяем все коды ответов(Good status: all) Фильтруем результаты по интересующему нас коду - 404 Сохраняем в результат сам запрос(ссылки на страницы, где был получен ответ 404) Спойлер: Код пресета Код: eyJwcmVzZXQiOiJDaGVjayA0MDQgTm90IGZvdW5kICh0b3BpYy0xNTQ0KSIsInZh bHVlIjp7InByZXNldCI6IkNoZWNrIDQwNCBOb3QgZm91bmQgKHRvcGljLTE1NDQp IiwicGFyc2VycyI6W1siSFRNTDo6TGlua0V4dHJhY3RvciIsImRlZmF1bHQiLHsi dHlwZSI6Im92ZXJyaWRlIiwiaWQiOiJ1c2Vwcm94eSIsInZhbHVlIjpmYWxzZX0s eyJ0eXBlIjoib3ZlcnJpZGUiLCJpZCI6Imdvb2RDb2RlIiwidmFsdWUiOiIifSx7 InR5cGUiOiJmaWx0ZXIiLCJyZXN1bHQiOiJjb2RlIiwiZmlsdGVyVHlwZSI6ImVx dWFsIiwidmFsdWUiOiI0MDQiLCJvcHRpb24iOiJzZW5zIn0seyJ0eXBlIjoib3B0 aW9ucyIsImlkIjoicGFyc2VMZXZlbCIsInZhbHVlIjo1fV1dLCJyZXN1bHRzRm9y bWF0IjoiJHF1ZXJ5XFxuIiwicmVzdWx0c1NhdmVUbyI6ImZpbGUiLCJyZXN1bHRz RmlsZU5hbWUiOiIkZGF0ZWZpbGUuZm9ybWF0KCkudHh0IiwiYWRkaXRpb25hbEZv cm1hdHMiOltdLCJyZXN1bHRzVW5pcXVlIjoibm8iLCJxdWVyeUZvcm1hdCI6WyIk cXVlcnkiXSwidW5pcXVlUXVlcmllcyI6dHJ1ZSwic2F2ZUZhaWxlZFF1ZXJpZXMi OmZhbHNlLCJpdGVyYXRvck9wdGlvbnMiOnsib25BbGxMZXZlbHMiOmZhbHNlLCJx dWVyeUJ1aWxkZXJzQWZ0ZXJJdGVyYXRvciI6ZmFsc2V9LCJyZXN1bHRzT3B0aW9u cyI6eyJvdmVyd3JpdGUiOmZhbHNlfSwiZG9Mb2ciOiJubyIsImtlZXBVbmlxdWUi OiJObyIsIm1vcmVPcHRpb25zIjpmYWxzZSwicmVzdWx0c1ByZXBlbmQiOiIiLCJy ZXN1bHRzQXBwZW5kIjoiIiwicXVlcnlCdWlsZGVycyI6W10sInJlc3VsdHNCdWls ZGVycyI6W10sImNvbmZpZ092ZXJyaWRlcyI6W119fQ==
Здравствуйте. Ещё бы оно показывало на каких страницах эти ссылки с 404. нужно понимать, где эти ссылки битые на страницах. Или это рандом? Он лазит по страницам, я могу рандом написать и тоже будет 404
Добавьте в вывод $query.prev и сможете видеть на каких страницах размещаются эти ссылки. Не совсем понятно откуда такой вывод...
