Пресет Проверка на 404 и другие ошибки 1.0

[fest1val]

Доброго времени суток.
Решил добавить плановые проверки на ошибки с неправильным кодом ответа.
На форуме есть подобного рода ответ
http://a-parser.com/threads/1544/#post-4458

Как ловить все ошибки по мимо 503 и 304 вроде разобрался

Но как сделать вывод в отчет, по мимо страницы где есть ошибка а еще и место где проставлена ссылка на проблемную страницу?
и сделать отчет вида:
Страница 1 => Страница 2 = 404
Страница 1 => Страница 2 = 302
Спасибо.

 

[Support]

Универсальный чекер страниц
Пресет можно гибко настраивать под свои нужды:

• Use proxy - позволяет указать, использовать или нет прокси
• Subdomains are internal - позволяет указать, считать ли поддомены внутренними ссылками и, соответственно, следовать ли по ним
• Max redirects count - позволяет указать, следовать ли редиректам и на какую глубину (0 для отключения)
• В шаблоне результата (Result format) задаются такие параметры:
  • maxLevel - глубина парсинга (на какую глубину от начального запроса будет анализироваться сайт)
  • filter - перечень кодов для проверки (разделяются символом |)
  • fullpath - указывает выводить полный путь до ссылки с искомым кодом ответа, или только страницу, на которой размещена такая ссылка

Спойлер: Код для импорта

eyJwcmVzZXQiOiJVUkwgY2hla2VyIiwidmFsdWUiOnsicHJlc2V0IjoiVVJMIGNo
ZWtlciIsInBhcnNlcnMiOltbIkhUTUw6OkxpbmtFeHRyYWN0b3IiLCJkZWZhdWx0
Iix7InR5cGUiOiJvdmVycmlkZSIsImlkIjoidXNlcHJveHkiLCJ2YWx1ZSI6dHJ1
ZX0seyJ0eXBlIjoib3ZlcnJpZGUiLCJpZCI6InN1YkRvbWFpbnMiLCJ2YWx1ZSI6
ZmFsc2V9LHsidHlwZSI6Im92ZXJyaWRlIiwiaWQiOiJyZWN1cnNlIiwidmFsdWUi
OiI1In0seyJ0eXBlIjoib3ZlcnJpZGUiLCJpZCI6Imdvb2RDb2RlIiwidmFsdWUi
OlsiIl19LHsidHlwZSI6Im92ZXJyaWRlIiwiaWQiOiJxdWVyeWZvcm1hdCIsInZh
bHVlIjoiJHF1ZXJ5LmxpbmsifSx7InR5cGUiOiJvdmVycmlkZSIsImlkIjoiZm9y
bWF0cmVzdWx0IiwidmFsdWUiOiJbJSBtYXhMZXZlbCA9IDM7ICNcdTA0MTNcdTA0
M2JcdTA0NDNcdTA0MzFcdTA0MzhcdTA0M2RcdTA0MzAgXHUwNDNmXHUwNDQwXHUw
NDNlXHUwNDMyXHUwNDM1XHUwNDQwXHUwNDNhXHUwNDM4XG5maWx0ZXIgPSAnKDQw
NHwzMDJ8MzAxfDUwM3wzMDR8NDAzKSc7ICNcdTA0MWFcdTA0M2VcdTA0MzRcdTA0
NGIgXHUwNDM0XHUwNDNiXHUwNDRmIFx1MDQzZlx1MDQ0MFx1MDQzZVx1MDQzMlx1
MDQzNVx1MDQ0MFx1MDQzYVx1MDQzOFxuZnVsbHBhdGggPSAxOyAjXHUwNDEyXHUw
NDRiXHUwNDMyXHUwNDNlXHUwNDM0XHUwNDM4XHUwNDQyXHUwNDRjIFx1MDQzZlx1
MDQzZVx1MDQzYlx1MDQzZFx1MDQ0Ylx1MDQzOSBcdTA0M2ZcdTA0NDNcdTA0NDJc
dTA0NGMgKDEpIFx1MDQzOFx1MDQzYlx1MDQzOCBcdTA0NDJcdTA0M2VcdTA0M2Jc
dTA0NGNcdTA0M2FcdTA0M2UgXHUwNDQxXHUwNDQyXHUwNDQwXHUwNDMwXHUwNDNk
XHUwNDM4XHUwNDQ2XHUwNDQzLCBcdTA0M2RcdTA0MzAgXHUwNDNhXHUwNDNlXHUw
NDQyXHUwNDNlXHUwNDQwXHUwNDNlXHUwNDM5IFx1MDQ0MFx1MDQzMFx1MDQzN1x1
MDQzY1x1MDQzNVx1MDQ0OVx1MDQzNVx1MDQzZFx1MDQzMCBcdTA0NDFcdTA0NDFc
dTA0NGJcdTA0M2JcdTA0M2FcdTA0MzAgKDApXG5cbiNcdTA0MWZcdTA0NDBcdTA0
M2VcdTA0MzJcdTA0MzVcdTA0NDBcdTA0M2FcdTA0MzAgXHUwNDNhXHUwNDNlXHUw
NDM0XHUwNDMwIFx1MDQzZVx1MDQ0Mlx1MDQzMlx1MDQzNVx1MDQ0Mlx1MDQzMCBc
dTA0MzggXHUwNDMyXHUwNDRiXHUwNDMyXHUwNDNlXHUwNDM0IFx1MDQ0MFx1MDQz
NVx1MDQzN1x1MDQ0M1x1MDQzYlx1MDQ0Y1x1MDQ0Mlx1MDQzMFx1MDQ0Mlx1MDQz
MFxuSUYgY29kZS5tYXRjaChmaWx0ZXIpLjA7XG5cdHF1ZXJ5LnBhdGggXyBxdWVy
eSBfIFwiXFxuXCI7XG5FTkQ7XG5cbiNcdTA0MWZcdTA0MzVcdTA0NDBcdTA0MzVc
dTA0MzRcdTA0MzBcdTA0NDdcdTA0MzAgXHUwNDM3XHUwNDMwXHUwNDNmXHUwNDQw
XHUwNDNlXHUwNDQxXHUwNDNlXHUwNDMyIFx1MDQzOCBcdTA0M2ZcdTA0NDNcdTA0
NDJcdTA0MzVcdTA0MzkgXHUwNDNkXHUwNDMwIFx1MDQ0MVx1MDQzYlx1MDQzNVx1
MDQzNFx1MDQ0M1x1MDQ0ZVx1MDQ0OVx1MDQzOFx1MDQzOSBcdTA0NDNcdTA0NDBc
dTA0M2VcdTA0MzJcdTA0MzVcdTA0M2RcdTA0NGNcbkZPUkVBQ0ggaW50bGlua3M7
XG5cdElGIGZ1bGxwYXRoO1xuICAgIFx0dG9vbHMucXVlcnkuYWRkKHF1ZXJ5LnBh
dGggXyBxdWVyeSBfICcgLT4gfCcgXyBsaW5rLCBtYXhMZXZlbCk7XG4gICAgRUxT
RTtcbiAgICBcdHRvb2xzLnF1ZXJ5LmFkZChxdWVyeSBfICcgLT4gfCcgXyBsaW5r
LCBtYXhMZXZlbCk7XG4gICAgRU5EO1xuRU5EICVdIn1dXSwicmVzdWx0c0Zvcm1h
dCI6IiRwMS5wcmVzZXQiLCJyZXN1bHRzU2F2ZVRvIjoiZmlsZSIsInJlc3VsdHNG
aWxlTmFtZSI6IlslIElGIHAxLnByZXNldDtcblx0cXVlcnkuZmlyc3QubWF0Y2go
J2h0dHBzPzovLyguKz8pKD86L3wkKScpLjAgXyAnLycgXyBwMS5jb2RlIF8gJy50
eHQnO1xuRU5EICVdIiwiYWRkaXRpb25hbEZvcm1hdHMiOltdLCJyZXN1bHRzVW5p
cXVlIjoibm8iLCJxdWVyeUZvcm1hdCI6WyJ8JHF1ZXJ5Il0sInVuaXF1ZVF1ZXJp
ZXMiOnRydWUsInNhdmVGYWlsZWRRdWVyaWVzIjpmYWxzZSwiaXRlcmF0b3JPcHRp
b25zIjp7Im9uQWxsTGV2ZWxzIjpmYWxzZSwicXVlcnlCdWlsZGVyc0FmdGVySXRl
cmF0b3IiOnRydWUsInF1ZXJ5QnVpbGRlcnNPbkFsbExldmVscyI6dHJ1ZX0sInJl
c3VsdHNPcHRpb25zIjp7Im92ZXJ3cml0ZSI6ZmFsc2V9LCJkb0xvZyI6Im5vIiwi
a2VlcFVuaXF1ZSI6Ik5vIiwibW9yZU9wdGlvbnMiOmZhbHNlLCJyZXN1bHRzUHJl
cGVuZCI6IiIsInJlc3VsdHNBcHBlbmQiOiIiLCJxdWVyeUJ1aWxkZXJzIjpbeyJz
b3VyY2UiOiJxdWVyeSIsInR5cGUiOiJzdHJpbmdTcGxpdCIsInNlcGFyYXRvciI6
InwiLCJ0byI6WyJwYXRoIiwibGluayJdfV0sInJlc3VsdHNCdWlsZGVycyI6W10s
ImNvbmZpZ092ZXJyaWRlcyI6W119fQ==

Запросы
В качестве запросов нужно указывать начальные ссылки с http. Например:

http://a-poster.info
http://a-parser.com/forum/

Результаты
В зависимости от параметра fullpath результаты будут иметь такой вид:
fullpath = 0

http://a-parser.com -> http://a-parser.com/users/216/
http://a-parser.com/threads/1738/ -> http://a-parser.com/threads/1762/

fullpath = 1

http://a-parser.com -> http://a-parser.com/users/ -> http://a-parser.com/users/216/
http://a-parser.com -> http://a-parser.com/users/ -> http://a-parser.com/pages/members-area/

 

[fest1val]

Ухты, спасибо!

 

[tarasnick1]

Пробовал парсить большие сайты - не получается скачать результат

 

[Support]

Пробовал парсить большие сайты - не получается скачать результат

Напишите мне по одному из контактов:

• 
  Telegram @aparser
• 
  Skype a-parser
• 
  ICQ 686-674-805
• 
  Jabber [email protected]

 

[Defy]

А он еще не потерял свою актуальность? Тоесть работает?

 

[Support]

Работает конечно, почему он должен был потерять свою актуальность?

 

[Сергей 222]

Подскажите, а как проверить на 404 только по списку страниц? Список лежит в файле txt
Чтобы не переходило вообще по ссылкам, просто проверить страницы из списка?

 

[Support]

Чтобы не переходило вообще по ссылкам, просто проверить страницы из списка?

Вообще без перехода по ссылкам невозможно узнать код ответа. А если имеется в виду "проверить на 404 код и не переходить по внутренним ссылкам вглубь", то самый простой способ показан здесь: https://a-parser.com/threads/772/#post-1822