Перейти к основному содержимому

Rank::Archive - Парсер даты первого и последнего кэширования сайта в веб архиве

Обзор парсера​

Обзор парсераRank::ArchiveRank::Archive – парсер Веб Архива, определяет дату первого и последнего кэширования, а также количество сохраненных копий сайта.

Функционал A-Parser позволяет сохранять настройки парсинга парсера Rank::Archive для дальнейшего использования (пресеты), задавать расписание парсинга и многое другое.

Сохранение результатов возможно в том виде и структуре которая вам необходима, благодаря встроенному мощному шаблонизатору Template Toolkit который позволяет применять дополнительную логику к результатам и выводить данные в различных форматах, включая JSON, SQL и CSV.

Собираемые данные​

  • Дата первого кэширования
  • Дата последнего кэширования
  • Количество сохраненных копий сайта
Собираемые данные

Варианты использования​

  • Проверка наличия копии сайта в вебархиве, а также даты индексации первой и последней копии
  • Оценка доменов: большое число копий сайта в вебархиве может свидетельствовать о большой посещаемости сайта

Запросы​

В качестве запросов необходимо указывать домен искомого сайта, например:

a-parser.com
www.yahoo.com
google.com
vk.com
youtube.com

Варианты вывода результатов​

A-Parser поддерживает гибкое форматирование результатов благодаря встроенному шаблонизатору Template Toolkit, что позволяет ему выводить результаты в произвольной форме, а также в структуированной, например CSV или JSON

Вывод по умолчанию​

Формат результата:

$query: $first - $last ($times times)\n

В результате отображен сайт, даты индексации первой и последней копии и количество сохраненных копий сайта:

vk.com: 11.05.2000 - 21.05.2014(8965 times)  
youtube.com: 28.04.2005 - 21.05.2014(28150 times)  
a-parser.com: 16.03.2012 - 17.05.2014(56 times)  
google.com: 11.11.1998 - 21.05.2014(34575 times)  
www.yahoo.com: 17.10.1996 - 20.05.2014(28537 times)

Сохранение в формате SQL​

Формат результата:

[% "INSERT INTO archive VALUES('" _ query _ "', '" _ first _ "', '" _ last _ "', '" _ times _ "')\n" %]

Пример результата:

INSERT INTO archive VALUES('http://a-parser.com/', '16.03.2012', '16.01.2021', '290')
INSERT INTO archive VALUES('http://yandex.ru/', '06.12.1998', '25.03.2021', '141421')
INSERT INTO archive VALUES('http://facebook.com/', '12.12.1998', '25.03.2021', '4877156')
INSERT INTO archive VALUES('http://vk.com/', '11.05.2000', '25.03.2021', '172132')
INSERT INTO archive VALUES('http://google.com/', '11.11.1998', '25.03.2021', '5969502')
INSERT INTO archive VALUES('http://youtube.com/', '28.04.2005', '25.03.2021', '2309673')

Дамп результатов в JSON​

Общий формат результата:

[% IF notFirst;
  ",\n";
ELSE;
  notFirst = 1;
END;

obj = {};
obj.query = query;
obj.first = p1.first;
obj.last = p1.last;
obj.times = p1.times;

obj.json %]

Начальный текст:

[

Конечный текст:

]

Пример результата:

[
    {"first":"12.12.1998","query":"http://facebook.com/","last":"25.03.2021","times":4877156},
    {"first":"06.12.1998","query":"http://yandex.ru/","last":"25.03.2021","times":141421},
    {"first":"16.03.2012","query":"http://a-parser.com/","last":"16.01.2021","times":290},
    {"first":"28.04.2005","query":"http://youtube.com/","last":"25.03.2021","times":2309673},
    {"first":"11.11.1998","query":"http://google.com/","last":"25.03.2021","times":5969502},
    {"first":"11.05.2000","query":"http://vk.com/","last":"25.03.2021","times":172132}
]
подсказка

Чтобы опции "Начальный текст" и "Конечный текст" были доступны в Редакторе заданий, нужно активировать "Больше опций".

Возможные настройки​

примечание

Общие настройки для всех парсеров

Последнее обновление