Задача: нужно пройтись по каждой странице указанного сайта и для каждой вывести глубину, время ответа, код и статус ответа, размер страницы и, если есть редирект, то конечный адрес. Формат результата - CSV.
Решение довольно простое. Воспользуемся
HTML::LinkExtractor для прохода по каждой странице до указанной глубины. Для вывода нужной информации зададим нужным образом формат результата. При этом конечный адрес редиректа извлекаем из заголовка Location регулярным выражением. Также задаем Good status = All и включаем уникализацию запросов.
P.S. Для корректной работы данного пресета нужна версия А-Парсера не ниже 1.1.574
Решение довольно простое. Воспользуемся
HTML::LinkExtractor для прохода по каждой странице до указанной глубины. Для вывода нужной информации зададим нужным образом формат результата. При этом конечный адрес редиректа извлекаем из заголовка Location регулярным выражением. Также задаем Good status = All и включаем уникализацию запросов.
Код:
eyJwcmVzZXQiOiJQYWdlIHN0YXR1cyIsInZhbHVlIjp7InByZXNldCI6IlBhZ2Ug
c3RhdHVzIiwicGFyc2VycyI6W1siSFRNTDo6TGlua0V4dHJhY3RvciIsImRlZmF1
bHQiLHsidHlwZSI6Im92ZXJyaWRlIiwiaWQiOiJnb29kQ29kZSIsInZhbHVlIjpb
IiJdfSx7InR5cGUiOiJvdmVycmlkZSIsImlkIjoiZm9ybWF0cmVzdWx0IiwidmFs
dWUiOiJcIiRxdWVyeVwiO1wiJHF1ZXJ5Lmx2bFwiO1wiJHJlc3BvbnNlLlRpbWVc
IjtcIiRjb2RlICRyZWFzb25cIjtcIiRkYXRhLmxlbmd0aFwiO1wiWyUgbG9jYXRp
b24gPT0gJ25vbmUnID8gJycgOiBsb2NhdGlvbiAlXVwiXFxuIn0seyJ0eXBlIjoi
Y3VzdG9tUmVzdWx0IiwicmVzdWx0IjoiaGVhZGVycyIsInJlZ2V4IjoibG9jYXRp
b246XFxzKiguKykiLCJyZWdleFR5cGUiOiJpIiwicmVzdWx0VHlwZSI6ImZsYXQi
LCJhcnJheU5hbWUiOiIiLCJyZXN1bHRzIjpbImxvY2F0aW9uIl19LHsidHlwZSI6
Im9wdGlvbnMiLCJpZCI6InBhcnNlTGV2ZWwiLCJ2YWx1ZSI6M31dXSwicmVzdWx0
c0Zvcm1hdCI6IiRwMS5wcmVzZXQiLCJyZXN1bHRzU2F2ZVRvIjoiZmlsZSIsInJl
c3VsdHNGaWxlTmFtZSI6IiRkYXRlZmlsZS5mb3JtYXQoKS5jc3YiLCJhZGRpdGlv
bmFsRm9ybWF0cyI6W10sInJlc3VsdHNVbmlxdWUiOiJubyIsInF1ZXJ5Rm9ybWF0
IjpbIiRxdWVyeSJdLCJ1bmlxdWVRdWVyaWVzIjp0cnVlLCJzYXZlRmFpbGVkUXVl
cmllcyI6ZmFsc2UsIml0ZXJhdG9yT3B0aW9ucyI6eyJvbkFsbExldmVscyI6ZmFs
c2UsInF1ZXJ5QnVpbGRlcnNBZnRlckl0ZXJhdG9yIjpmYWxzZSwicXVlcnlCdWls
ZGVyc09uQWxsTGV2ZWxzIjpmYWxzZX0sInJlc3VsdHNPcHRpb25zIjp7Im92ZXJ3
cml0ZSI6ZmFsc2V9LCJkb0xvZyI6Im5vIiwia2VlcFVuaXF1ZSI6Ik5vIiwibW9y
ZU9wdGlvbnMiOnRydWUsInJlc3VsdHNQcmVwZW5kIjoiXCJVUkxcIjtcIkxWTFwi
O1wiVGltZVwiO1wiUmVzcG9uc2VcIjtcIlNpemVcIjtcIlJlZGlyZWN0IHVybFwi
XG4iLCJyZXN1bHRzQXBwZW5kIjoiIiwicXVlcnlCdWlsZGVycyI6W10sInJlc3Vs
dHNCdWlsZGVycyI6W10sImNvbmZpZ092ZXJyaWRlcyI6W10sInJ1blRhc2tPbkNv
bXBsZXRlIjpudWxsLCJ1c2VSZXN1bHRzRmlsZUFzUXVlcmllc0ZpbGUiOmZhbHNl
LCJydW5UYXNrT25Db21wbGV0ZUNvbmZpZyI6ImRlZmF1bHQiLCJ0b29sc0pTIjoi
In19P.S. Для корректной работы данного пресета нужна версия А-Парсера не ниже 1.1.574