Перейти к основному содержимому

Rank::Archive - Парсер даты первого и последнего кэширования сайта в веб архиве

Rank::Archive

Обзор парсера Rank::Archive#

Rank::ArchiveRank::Archive – парсер Веб Архива, определяет дату первого и последнего кэширования, а также количество сохраненных копий сайта.

Функционал A-Parser позволяет сохранять настройки парсинга парсера Rank::Archive для дальнейшего использования (пресеты), задавать расписание парсинга и многое другое.

Сохранение результатов возможно в том виде и структуре которая вам необходима, благодаря встроенному мощному шаблонизатору Template Toolkit который позволяет применять дополнительную логику к результатам и выводить данные в различных форматах, включая JSON, SQL и CSV.

Список собираемых данных#

  • Дата первого кэширования
  • Дата последнего кэширования
  • Количество сохраненных копий сайта

какие данные собирает парсер Rank::Archive

Варианты использования#

  • Проверка наличии копии сайта в вебархиве, а так же даты индексации первой и последней копии
  • Полезен для оценки доменов. Большое число копий сайта в вебархиве может свидетельствовать о большой посещаемости сайта

Примеры запросов#

В качестве запросов необходимо указывать домен искомого сайта, например:

a-parser.com
www.yahoo.com
google.com
vk.com
youtube.com

В результате отображен сайт, даты индексации первой и последней копии и количество сохраненных копий сайта. Пример:

vk.com: 11.05.2000 - 21.05.2014(8965 times)
youtube.com: 28.04.2005 - 21.05.2014(28150 times)
a-parser.com: 16.03.2012 - 17.05.2014(56 times)
google.com: 11.11.1998 - 21.05.2014(34575 times)
www.yahoo.com: 17.10.1996 - 20.05.2014(28537 times)

Варианты вывода результатов#

A-Parser поддерживает гибкое форматирование результатов благодаря встроенному шаблонизатору Template Toolkit, что позволяет ему выводить результаты в произвольной форме, а также в структуированной, например CSV или JSON.

Сохранение в формате SQL#

Формат результата:

[% "INSERT INTO archive VALUES('" _ query _ "', '" _ p1.first _ "', '" _ p1.last _ "', '" _ p1.times _ "')\n" %]

Пример результата:

INSERT INTO archive VALUES('http://a-parser.com/', '16.03.2012', '16.01.2021', '290')
INSERT INTO archive VALUES('http://yandex.ru/', '06.12.1998', '25.03.2021', '141421')
INSERT INTO archive VALUES('http://facebook.com/', '12.12.1998', '25.03.2021', '4877156')
INSERT INTO archive VALUES('http://vk.com/', '11.05.2000', '25.03.2021', '172132')
INSERT INTO archive VALUES('http://google.com/', '11.11.1998', '25.03.2021', '5969502')
INSERT INTO archive VALUES('http://youtube.com/', '28.04.2005', '25.03.2021', '2309673')

Дамп результатов в JSON#

Формат результата:

[% data = {};
data.query = query;
data.first = p1.first;
data.last = p1.last;
data.times = p1.times; %]$data.json\n

Пример результата:

{"first":"12.12.1998","query":"http://facebook.com/","last":"25.03.2021","times":4877156}
{"first":"06.12.1998","query":"http://yandex.ru/","last":"25.03.2021","times":141421}
{"first":"16.03.2012","query":"http://a-parser.com/","last":"16.01.2021","times":290}
{"first":"28.04.2005","query":"http://youtube.com/","last":"25.03.2021","times":2309673}
{"first":"11.11.1998","query":"http://google.com/","last":"25.03.2021","times":5969502}
{"first":"11.05.2000","query":"http://vk.com/","last":"25.03.2021","times":172132}

Возможные настройки#

Последнее обновление