1. Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 2600+ и мы растем!
    Скрыть объявление

Пресет Проверка на 404 и другие ошибки 1.0

Чекер кодов ответа страниц сайта с возможностью задавать различные настройки

  1. fest1val

    fest1val A-Parser Pro License
    A-Parser Pro

    Регистрация:
    31 окт 2015
    Сообщения:
    14
    Симпатии:
    2
    Доброго времени суток.
    Решил добавить плановые проверки на ошибки с неправильным кодом ответа.
    На форуме есть подобного рода ответ
    http://a-parser.com/threads/1544/#post-4458

    Как ловить все ошибки по мимо 503 и 304 вроде разобрался
    [​IMG]
    Но как сделать вывод в отчет, по мимо страницы где есть ошибка а еще и место где проставлена ссылка на проблемную страницу?
    и сделать отчет вида:
    Страница 1 => Страница 2 = 404
    Страница 1 => Страница 2 = 302
    Спасибо.
     
    #1 fest1val, 6 фев 2016
    Последнее редактирование: 6 фев 2016
    limoshkaa нравится это.
  2. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    4.545
    Симпатии:
    2.163
    Универсальный чекер страниц
    Пресет можно гибко настраивать под свои нужды:
    • Use proxy - позволяет указать, использовать или нет прокси
    • Subdomains are internal - позволяет указать, считать ли поддомены внутренними ссылками и, соответственно, следовать ли по ним
    • Max redirects count - позволяет указать, следовать ли редиректам и на какую глубину (0 для отключения)
    • В шаблоне результата (Result format) задаются такие параметры:
      • maxLevel - глубина парсинга (на какую глубину от начального запроса будет анализироваться сайт)
      • filter - перечень кодов для проверки (разделяются символом |)
      • fullpath - указывает выводить полный путь до ссылки с искомым кодом ответа, или только страницу, на которой размещена такая ссылка
    [​IMG]
    [​IMG]
    Код:
    eyJwcmVzZXQiOiJVUkwgY2hla2VyIiwidmFsdWUiOnsicHJlc2V0IjoiVVJMIGNo
ZWtlciIsInBhcnNlcnMiOltbIkhUTUw6OkxpbmtFeHRyYWN0b3IiLCJkZWZhdWx0
Iix7InR5cGUiOiJvdmVycmlkZSIsImlkIjoidXNlcHJveHkiLCJ2YWx1ZSI6dHJ1
ZX0seyJ0eXBlIjoib3ZlcnJpZGUiLCJpZCI6InN1YkRvbWFpbnMiLCJ2YWx1ZSI6
ZmFsc2V9LHsidHlwZSI6Im92ZXJyaWRlIiwiaWQiOiJyZWN1cnNlIiwidmFsdWUi
OiI1In0seyJ0eXBlIjoib3ZlcnJpZGUiLCJpZCI6Imdvb2RDb2RlIiwidmFsdWUi
OlsiIl19LHsidHlwZSI6Im92ZXJyaWRlIiwiaWQiOiJxdWVyeWZvcm1hdCIsInZh
bHVlIjoiJHF1ZXJ5LmxpbmsifSx7InR5cGUiOiJvdmVycmlkZSIsImlkIjoiZm9y
bWF0cmVzdWx0IiwidmFsdWUiOiJbJSBtYXhMZXZlbCA9IDM7ICNcdTA0MTNcdTA0
M2JcdTA0NDNcdTA0MzFcdTA0MzhcdTA0M2RcdTA0MzAgXHUwNDNmXHUwNDQwXHUw
NDNlXHUwNDMyXHUwNDM1XHUwNDQwXHUwNDNhXHUwNDM4XG5maWx0ZXIgPSAnKDQw
NHwzMDJ8MzAxfDUwM3wzMDR8NDAzKSc7ICNcdTA0MWFcdTA0M2VcdTA0MzRcdTA0
NGIgXHUwNDM0XHUwNDNiXHUwNDRmIFx1MDQzZlx1MDQ0MFx1MDQzZVx1MDQzMlx1
MDQzNVx1MDQ0MFx1MDQzYVx1MDQzOFxuZnVsbHBhdGggPSAxOyAjXHUwNDEyXHUw
NDRiXHUwNDMyXHUwNDNlXHUwNDM0XHUwNDM4XHUwNDQyXHUwNDRjIFx1MDQzZlx1
MDQzZVx1MDQzYlx1MDQzZFx1MDQ0Ylx1MDQzOSBcdTA0M2ZcdTA0NDNcdTA0NDJc
dTA0NGMgKDEpIFx1MDQzOFx1MDQzYlx1MDQzOCBcdTA0NDJcdTA0M2VcdTA0M2Jc
dTA0NGNcdTA0M2FcdTA0M2UgXHUwNDQxXHUwNDQyXHUwNDQwXHUwNDMwXHUwNDNk
XHUwNDM4XHUwNDQ2XHUwNDQzLCBcdTA0M2RcdTA0MzAgXHUwNDNhXHUwNDNlXHUw
NDQyXHUwNDNlXHUwNDQwXHUwNDNlXHUwNDM5IFx1MDQ0MFx1MDQzMFx1MDQzN1x1
MDQzY1x1MDQzNVx1MDQ0OVx1MDQzNVx1MDQzZFx1MDQzMCBcdTA0NDFcdTA0NDFc
dTA0NGJcdTA0M2JcdTA0M2FcdTA0MzAgKDApXG5cbiNcdTA0MWZcdTA0NDBcdTA0
M2VcdTA0MzJcdTA0MzVcdTA0NDBcdTA0M2FcdTA0MzAgXHUwNDNhXHUwNDNlXHUw
NDM0XHUwNDMwIFx1MDQzZVx1MDQ0Mlx1MDQzMlx1MDQzNVx1MDQ0Mlx1MDQzMCBc
dTA0MzggXHUwNDMyXHUwNDRiXHUwNDMyXHUwNDNlXHUwNDM0IFx1MDQ0MFx1MDQz
NVx1MDQzN1x1MDQ0M1x1MDQzYlx1MDQ0Y1x1MDQ0Mlx1MDQzMFx1MDQ0Mlx1MDQz
MFxuSUYgY29kZS5tYXRjaChmaWx0ZXIpLjA7XG5cdHF1ZXJ5LnBhdGggXyBxdWVy
eSBfIFwiXFxuXCI7XG5FTkQ7XG5cbiNcdTA0MWZcdTA0MzVcdTA0NDBcdTA0MzVc
dTA0MzRcdTA0MzBcdTA0NDdcdTA0MzAgXHUwNDM3XHUwNDMwXHUwNDNmXHUwNDQw
XHUwNDNlXHUwNDQxXHUwNDNlXHUwNDMyIFx1MDQzOCBcdTA0M2ZcdTA0NDNcdTA0
NDJcdTA0MzVcdTA0MzkgXHUwNDNkXHUwNDMwIFx1MDQ0MVx1MDQzYlx1MDQzNVx1
MDQzNFx1MDQ0M1x1MDQ0ZVx1MDQ0OVx1MDQzOFx1MDQzOSBcdTA0NDNcdTA0NDBc
dTA0M2VcdTA0MzJcdTA0MzVcdTA0M2RcdTA0NGNcbkZPUkVBQ0ggaW50bGlua3M7
XG5cdElGIGZ1bGxwYXRoO1xuICAgIFx0dG9vbHMucXVlcnkuYWRkKHF1ZXJ5LnBh
dGggXyBxdWVyeSBfICcgLT4gfCcgXyBsaW5rLCBtYXhMZXZlbCk7XG4gICAgRUxT
RTtcbiAgICBcdHRvb2xzLnF1ZXJ5LmFkZChxdWVyeSBfICcgLT4gfCcgXyBsaW5r
LCBtYXhMZXZlbCk7XG4gICAgRU5EO1xuRU5EICVdIn1dXSwicmVzdWx0c0Zvcm1h
dCI6IiRwMS5wcmVzZXQiLCJyZXN1bHRzU2F2ZVRvIjoiZmlsZSIsInJlc3VsdHNG
aWxlTmFtZSI6IlslIElGIHAxLnByZXNldDtcblx0cXVlcnkuZmlyc3QubWF0Y2go
J2h0dHBzPzovLyguKz8pKD86L3wkKScpLjAgXyAnLycgXyBwMS5jb2RlIF8gJy50
eHQnO1xuRU5EICVdIiwiYWRkaXRpb25hbEZvcm1hdHMiOltdLCJyZXN1bHRzVW5p
cXVlIjoibm8iLCJxdWVyeUZvcm1hdCI6WyJ8JHF1ZXJ5Il0sInVuaXF1ZVF1ZXJp
ZXMiOnRydWUsInNhdmVGYWlsZWRRdWVyaWVzIjpmYWxzZSwiaXRlcmF0b3JPcHRp
b25zIjp7Im9uQWxsTGV2ZWxzIjpmYWxzZSwicXVlcnlCdWlsZGVyc0FmdGVySXRl
cmF0b3IiOnRydWUsInF1ZXJ5QnVpbGRlcnNPbkFsbExldmVscyI6dHJ1ZX0sInJl
c3VsdHNPcHRpb25zIjp7Im92ZXJ3cml0ZSI6ZmFsc2V9LCJkb0xvZyI6Im5vIiwi
a2VlcFVuaXF1ZSI6Ik5vIiwibW9yZU9wdGlvbnMiOmZhbHNlLCJyZXN1bHRzUHJl
cGVuZCI6IiIsInJlc3VsdHNBcHBlbmQiOiIiLCJxdWVyeUJ1aWxkZXJzIjpbeyJz
b3VyY2UiOiJxdWVyeSIsInR5cGUiOiJzdHJpbmdTcGxpdCIsInNlcGFyYXRvciI6
InwiLCJ0byI6WyJwYXRoIiwibGluayJdfV0sInJlc3VsdHNCdWlsZGVycyI6W10s
ImNvbmZpZ092ZXJyaWRlcyI6W119fQ==

    Запросы
    В качестве запросов нужно указывать начальные ссылки с http. Например:
    Результаты
    В зависимости от параметра fullpath результаты будут иметь такой вид:
    fullpath = 0
    fullpath = 1
     
    #2 Support, 8 фев 2016
    limoshkaa, Force68, Metroid и 4 другим нравится это.
  3. fest1val

    fest1val A-Parser Pro License
    A-Parser Pro

    Регистрация:
    31 окт 2015
    Сообщения:
    14
    Симпатии:
    2
    Ухты, спасибо!
     
    #3 fest1val, 8 фев 2016
    Support нравится это.
  4. tarasnick1

    tarasnick1 A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    24 авг 2015
    Сообщения:
    39
    Симпатии:
    29
    Пробовал парсить большие сайты - не получается скачать результат
     
    #4 tarasnick1, 3 ноя 2016
  5. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    4.545
    Симпатии:
    2.163
    Напишите мне по одному из контактов:
     
    #5 Support, 3 ноя 2016
  6. Defy

    Defy A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    21 июн 2018
    Сообщения:
    3
    Симпатии:
    1
    А он еще не потерял свою актуальность? Тоесть работает?
     
    #6 Defy, 14 окт 2018
  7. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    4.545
    Симпатии:
    2.163
    Работает конечно, почему он должен был потерять свою актуальность? :)
     
    #7 Support, 15 окт 2018
(Вы должны войти или зарегистрироваться, чтобы разместить сообщение.)

Поделиться этой страницей