1. Этот сайт использует файлы cookie. Продолжая пользоваться данным сайтом, Вы соглашаетесь на использование нами Ваших файлов cookie. Узнать больше.
  2. Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 2200+ и мы растем!
    Скрыть объявление

Пресет Анализ всех страниц сайта 1.0

Парсинг различных характеристик каждой страницы указанного сайта

  1. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    3.531
    Симпатии:
    1.880
    Задача: нужно пройтись по каждой странице указанного сайта и для каждой вывести глубину, время ответа, код и статус ответа, размер страницы и, если есть редирект, то конечный адрес. Формат результата - CSV.

    Решение довольно простое. Воспользуемся HTML::LinkExtractor HTML::LinkExtractor для прохода по каждой странице до указанной глубины. Для вывода нужной информации зададим нужным образом формат результата. При этом конечный адрес редиректа извлекаем из заголовка Location регулярным выражением. Также задаем Good status = All и включаем уникализацию запросов.
    FireShot Screen Capture #223 - 'A-Parser_ Advanced SE Parser & Analyze tool' - 127_0_0_1_909.png
    Код:
    eyJwcmVzZXQiOiJQYWdlIHN0YXR1cyIsInZhbHVlIjp7InByZXNldCI6IlBhZ2Ug
    c3RhdHVzIiwicGFyc2VycyI6W1siSFRNTDo6TGlua0V4dHJhY3RvciIsImRlZmF1
    bHQiLHsidHlwZSI6Im92ZXJyaWRlIiwiaWQiOiJnb29kQ29kZSIsInZhbHVlIjpb
    IiJdfSx7InR5cGUiOiJvdmVycmlkZSIsImlkIjoiZm9ybWF0cmVzdWx0IiwidmFs
    dWUiOiJcIiRxdWVyeVwiO1wiJHF1ZXJ5Lmx2bFwiO1wiJHJlc3BvbnNlLlRpbWVc
    IjtcIiRjb2RlICRyZWFzb25cIjtcIiRkYXRhLmxlbmd0aFwiO1wiWyUgbG9jYXRp
    b24gPT0gJ25vbmUnID8gJycgOiBsb2NhdGlvbiAlXVwiXFxuIn0seyJ0eXBlIjoi
    Y3VzdG9tUmVzdWx0IiwicmVzdWx0IjoiaGVhZGVycyIsInJlZ2V4IjoibG9jYXRp
    b246XFxzKiguKykiLCJyZWdleFR5cGUiOiJpIiwicmVzdWx0VHlwZSI6ImZsYXQi
    LCJhcnJheU5hbWUiOiIiLCJyZXN1bHRzIjpbImxvY2F0aW9uIl19LHsidHlwZSI6
    Im9wdGlvbnMiLCJpZCI6InBhcnNlTGV2ZWwiLCJ2YWx1ZSI6M31dXSwicmVzdWx0
    c0Zvcm1hdCI6IiRwMS5wcmVzZXQiLCJyZXN1bHRzU2F2ZVRvIjoiZmlsZSIsInJl
    c3VsdHNGaWxlTmFtZSI6IiRkYXRlZmlsZS5mb3JtYXQoKS5jc3YiLCJhZGRpdGlv
    bmFsRm9ybWF0cyI6W10sInJlc3VsdHNVbmlxdWUiOiJubyIsInF1ZXJ5Rm9ybWF0
    IjpbIiRxdWVyeSJdLCJ1bmlxdWVRdWVyaWVzIjp0cnVlLCJzYXZlRmFpbGVkUXVl
    cmllcyI6ZmFsc2UsIml0ZXJhdG9yT3B0aW9ucyI6eyJvbkFsbExldmVscyI6ZmFs
    c2UsInF1ZXJ5QnVpbGRlcnNBZnRlckl0ZXJhdG9yIjpmYWxzZSwicXVlcnlCdWls
    ZGVyc09uQWxsTGV2ZWxzIjpmYWxzZX0sInJlc3VsdHNPcHRpb25zIjp7Im92ZXJ3
    cml0ZSI6ZmFsc2V9LCJkb0xvZyI6Im5vIiwia2VlcFVuaXF1ZSI6Ik5vIiwibW9y
    ZU9wdGlvbnMiOnRydWUsInJlc3VsdHNQcmVwZW5kIjoiXCJVUkxcIjtcIkxWTFwi
    O1wiVGltZVwiO1wiUmVzcG9uc2VcIjtcIlNpemVcIjtcIlJlZGlyZWN0IHVybFwi
    XG4iLCJyZXN1bHRzQXBwZW5kIjoiIiwicXVlcnlCdWlsZGVycyI6W10sInJlc3Vs
    dHNCdWlsZGVycyI6W10sImNvbmZpZ092ZXJyaWRlcyI6W10sInJ1blRhc2tPbkNv
    bXBsZXRlIjpudWxsLCJ1c2VSZXN1bHRzRmlsZUFzUXVlcmllc0ZpbGUiOmZhbHNl
    LCJydW5UYXNrT25Db21wbGV0ZUNvbmZpZyI6ImRlZmF1bHQiLCJ0b29sc0pTIjoi
    In19
    4343243443.png

    P.S. Для корректной работы данного пресета нужна версия А-Парсера не ниже 1.1.574
     
    Metroid, 18kotov, shralex и 2 другим нравится это.

Поделиться этой страницей