1. Этот сайт использует файлы cookie. Продолжая пользоваться данным сайтом, Вы соглашаетесь на использование нами Ваших файлов cookie. Узнать больше.
  2. Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 2600+ и мы растем!
    Скрыть объявление

Пресет Проверка на 404 и другие ошибки 1.0

Чекер кодов ответа страниц сайта с возможностью задавать различные настройки

  1. fest1val

    fest1val A-Parser Pro License
    A-Parser Pro

    Регистрация:
    31 окт 2015
    Сообщения:
    14
    Симпатии:
    2
    Доброго времени суток.
    Решил добавить плановые проверки на ошибки с неправильным кодом ответа.
    На форуме есть подобного рода ответ
    http://a-parser.com/threads/1544/#post-4458

    Как ловить все ошибки по мимо 503 и 304 вроде разобрался
    [​IMG]
    Но как сделать вывод в отчет, по мимо страницы где есть ошибка а еще и место где проставлена ссылка на проблемную страницу?
    и сделать отчет вида:
    Страница 1 => Страница 2 = 404
    Страница 1 => Страница 2 = 302
    Спасибо.
     
    #1 fest1val, 6 фев 2016
    Последнее редактирование: 6 фев 2016
    limoshkaa нравится это.
  2. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    4.348
    Симпатии:
    2.097
    Универсальный чекер страниц
    Пресет можно гибко настраивать под свои нужды:
    • Use proxy - позволяет указать, использовать или нет прокси
    • Subdomains are internal - позволяет указать, считать ли поддомены внутренними ссылками и, соответственно, следовать ли по ним
    • Max redirects count - позволяет указать, следовать ли редиректам и на какую глубину (0 для отключения)
    • В шаблоне результата (Result format) задаются такие параметры:
      • maxLevel - глубина парсинга (на какую глубину от начального запроса будет анализироваться сайт)
      • filter - перечень кодов для проверки (разделяются символом |)
      • fullpath - указывает выводить полный путь до ссылки с искомым кодом ответа, или только страницу, на которой размещена такая ссылка
    [​IMG]
    [​IMG]
    Код:
    eyJwcmVzZXQiOiJVUkwgY2hla2VyIiwidmFsdWUiOnsicHJlc2V0IjoiVVJMIGNo
    ZWtlciIsInBhcnNlcnMiOltbIkhUTUw6OkxpbmtFeHRyYWN0b3IiLCJkZWZhdWx0
    Iix7InR5cGUiOiJvdmVycmlkZSIsImlkIjoidXNlcHJveHkiLCJ2YWx1ZSI6dHJ1
    ZX0seyJ0eXBlIjoib3ZlcnJpZGUiLCJpZCI6InN1YkRvbWFpbnMiLCJ2YWx1ZSI6
    ZmFsc2V9LHsidHlwZSI6Im92ZXJyaWRlIiwiaWQiOiJyZWN1cnNlIiwidmFsdWUi
    OiI1In0seyJ0eXBlIjoib3ZlcnJpZGUiLCJpZCI6Imdvb2RDb2RlIiwidmFsdWUi
    OlsiIl19LHsidHlwZSI6Im92ZXJyaWRlIiwiaWQiOiJxdWVyeWZvcm1hdCIsInZh
    bHVlIjoiJHF1ZXJ5LmxpbmsifSx7InR5cGUiOiJvdmVycmlkZSIsImlkIjoiZm9y
    bWF0cmVzdWx0IiwidmFsdWUiOiJbJSBtYXhMZXZlbCA9IDM7ICNcdTA0MTNcdTA0
    M2JcdTA0NDNcdTA0MzFcdTA0MzhcdTA0M2RcdTA0MzAgXHUwNDNmXHUwNDQwXHUw
    NDNlXHUwNDMyXHUwNDM1XHUwNDQwXHUwNDNhXHUwNDM4XG5maWx0ZXIgPSAnKDQw
    NHwzMDJ8MzAxfDUwM3wzMDR8NDAzKSc7ICNcdTA0MWFcdTA0M2VcdTA0MzRcdTA0
    NGIgXHUwNDM0XHUwNDNiXHUwNDRmIFx1MDQzZlx1MDQ0MFx1MDQzZVx1MDQzMlx1
    MDQzNVx1MDQ0MFx1MDQzYVx1MDQzOFxuZnVsbHBhdGggPSAxOyAjXHUwNDEyXHUw
    NDRiXHUwNDMyXHUwNDNlXHUwNDM0XHUwNDM4XHUwNDQyXHUwNDRjIFx1MDQzZlx1
    MDQzZVx1MDQzYlx1MDQzZFx1MDQ0Ylx1MDQzOSBcdTA0M2ZcdTA0NDNcdTA0NDJc
    dTA0NGMgKDEpIFx1MDQzOFx1MDQzYlx1MDQzOCBcdTA0NDJcdTA0M2VcdTA0M2Jc
    dTA0NGNcdTA0M2FcdTA0M2UgXHUwNDQxXHUwNDQyXHUwNDQwXHUwNDMwXHUwNDNk
    XHUwNDM4XHUwNDQ2XHUwNDQzLCBcdTA0M2RcdTA0MzAgXHUwNDNhXHUwNDNlXHUw
    NDQyXHUwNDNlXHUwNDQwXHUwNDNlXHUwNDM5IFx1MDQ0MFx1MDQzMFx1MDQzN1x1
    MDQzY1x1MDQzNVx1MDQ0OVx1MDQzNVx1MDQzZFx1MDQzMCBcdTA0NDFcdTA0NDFc
    dTA0NGJcdTA0M2JcdTA0M2FcdTA0MzAgKDApXG5cbiNcdTA0MWZcdTA0NDBcdTA0
    M2VcdTA0MzJcdTA0MzVcdTA0NDBcdTA0M2FcdTA0MzAgXHUwNDNhXHUwNDNlXHUw
    NDM0XHUwNDMwIFx1MDQzZVx1MDQ0Mlx1MDQzMlx1MDQzNVx1MDQ0Mlx1MDQzMCBc
    dTA0MzggXHUwNDMyXHUwNDRiXHUwNDMyXHUwNDNlXHUwNDM0IFx1MDQ0MFx1MDQz
    NVx1MDQzN1x1MDQ0M1x1MDQzYlx1MDQ0Y1x1MDQ0Mlx1MDQzMFx1MDQ0Mlx1MDQz
    MFxuSUYgY29kZS5tYXRjaChmaWx0ZXIpLjA7XG5cdHF1ZXJ5LnBhdGggXyBxdWVy
    eSBfIFwiXFxuXCI7XG5FTkQ7XG5cbiNcdTA0MWZcdTA0MzVcdTA0NDBcdTA0MzVc
    dTA0MzRcdTA0MzBcdTA0NDdcdTA0MzAgXHUwNDM3XHUwNDMwXHUwNDNmXHUwNDQw
    XHUwNDNlXHUwNDQxXHUwNDNlXHUwNDMyIFx1MDQzOCBcdTA0M2ZcdTA0NDNcdTA0
    NDJcdTA0MzVcdTA0MzkgXHUwNDNkXHUwNDMwIFx1MDQ0MVx1MDQzYlx1MDQzNVx1
    MDQzNFx1MDQ0M1x1MDQ0ZVx1MDQ0OVx1MDQzOFx1MDQzOSBcdTA0NDNcdTA0NDBc
    dTA0M2VcdTA0MzJcdTA0MzVcdTA0M2RcdTA0NGNcbkZPUkVBQ0ggaW50bGlua3M7
    XG5cdElGIGZ1bGxwYXRoO1xuICAgIFx0dG9vbHMucXVlcnkuYWRkKHF1ZXJ5LnBh
    dGggXyBxdWVyeSBfICcgLT4gfCcgXyBsaW5rLCBtYXhMZXZlbCk7XG4gICAgRUxT
    RTtcbiAgICBcdHRvb2xzLnF1ZXJ5LmFkZChxdWVyeSBfICcgLT4gfCcgXyBsaW5r
    LCBtYXhMZXZlbCk7XG4gICAgRU5EO1xuRU5EICVdIn1dXSwicmVzdWx0c0Zvcm1h
    dCI6IiRwMS5wcmVzZXQiLCJyZXN1bHRzU2F2ZVRvIjoiZmlsZSIsInJlc3VsdHNG
    aWxlTmFtZSI6IlslIElGIHAxLnByZXNldDtcblx0cXVlcnkuZmlyc3QubWF0Y2go
    J2h0dHBzPzovLyguKz8pKD86L3wkKScpLjAgXyAnLycgXyBwMS5jb2RlIF8gJy50
    eHQnO1xuRU5EICVdIiwiYWRkaXRpb25hbEZvcm1hdHMiOltdLCJyZXN1bHRzVW5p
    cXVlIjoibm8iLCJxdWVyeUZvcm1hdCI6WyJ8JHF1ZXJ5Il0sInVuaXF1ZVF1ZXJp
    ZXMiOnRydWUsInNhdmVGYWlsZWRRdWVyaWVzIjpmYWxzZSwiaXRlcmF0b3JPcHRp
    b25zIjp7Im9uQWxsTGV2ZWxzIjpmYWxzZSwicXVlcnlCdWlsZGVyc0FmdGVySXRl
    cmF0b3IiOnRydWUsInF1ZXJ5QnVpbGRlcnNPbkFsbExldmVscyI6dHJ1ZX0sInJl
    c3VsdHNPcHRpb25zIjp7Im92ZXJ3cml0ZSI6ZmFsc2V9LCJkb0xvZyI6Im5vIiwi
    a2VlcFVuaXF1ZSI6Ik5vIiwibW9yZU9wdGlvbnMiOmZhbHNlLCJyZXN1bHRzUHJl
    cGVuZCI6IiIsInJlc3VsdHNBcHBlbmQiOiIiLCJxdWVyeUJ1aWxkZXJzIjpbeyJz
    b3VyY2UiOiJxdWVyeSIsInR5cGUiOiJzdHJpbmdTcGxpdCIsInNlcGFyYXRvciI6
    InwiLCJ0byI6WyJwYXRoIiwibGluayJdfV0sInJlc3VsdHNCdWlsZGVycyI6W10s
    ImNvbmZpZ092ZXJyaWRlcyI6W119fQ==

    Запросы
    В качестве запросов нужно указывать начальные ссылки с http. Например:
    Результаты
    В зависимости от параметра fullpath результаты будут иметь такой вид:
    fullpath = 0
    fullpath = 1
     
    limoshkaa, Force68, Metroid и 4 другим нравится это.
  3. fest1val

    fest1val A-Parser Pro License
    A-Parser Pro

    Регистрация:
    31 окт 2015
    Сообщения:
    14
    Симпатии:
    2
    Ухты, спасибо!
     
    Support нравится это.
  4. tarasnick1

    tarasnick1 A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    24 авг 2015
    Сообщения:
    39
    Симпатии:
    29
    Пробовал парсить большие сайты - не получается скачать результат
     
  5. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    4.348
    Симпатии:
    2.097
    Напишите мне по одному из контактов:
     
  6. Defy

    Defy A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    21 июн 2018
    Сообщения:
    3
    Симпатии:
    1
    А он еще не потерял свою актуальность? Тоесть работает?
     
  7. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    4.348
    Симпатии:
    2.097
    Работает конечно, почему он должен был потерять свою актуальность? :)
     

Поделиться этой страницей