Rank::Archive - Парсер даты первого и последнего кэширования сайта в веб архиве
Обзор парсера Rank::Archive
Rank::Archive – парсер Веб Архива, определяет дату первого и последнего кэширования, а также количество сохраненных копий сайта.Функционал A-Parser позволяет сохранять настройки парсинга парсера Rank::Archive для дальнейшего использования (пресеты), задавать расписание парсинга и многое другое.
Сохранение результатов возможно в том виде и структуре которая вам необходима, благодаря встроенному мощному шаблонизатору Template Toolkit который позволяет применять дополнительную логику к результатам и выводить данные в различных форматах, включая JSON, SQL и CSV.
Список собираемых данных
- Дата первого кэширования
- Дата последнего кэширования
- Количество сохраненных копий сайта
Варианты использования
- Проверка наличии копии сайта в вебархиве, а так же даты индексации первой и последней копии
- Полезен для оценки доменов. Большое число копий сайта в вебархиве может свидетельствовать о большой посещаемости сайта
Примеры запросов
В качестве запросов необходимо указывать домен искомого сайта, например:
a-parser.com
www.yahoo.com
google.com
vk.com
youtube.com
В результате отображен сайт, даты индексации первой и последней копии и количество сохраненных копий сайта. Пример:
vk.com: 11.05.2000 - 21.05.2014(8965 times)
youtube.com: 28.04.2005 - 21.05.2014(28150 times)
a-parser.com: 16.03.2012 - 17.05.2014(56 times)
google.com: 11.11.1998 - 21.05.2014(34575 times)
www.yahoo.com: 17.10.1996 - 20.05.2014(28537 times)
Варианты вывода результатов
A-Parser поддерживает гибкое форматирование результатов благодаря встроенному шаблонизатору Template Toolkit, что позволяет ему выводить результаты в произвольной форме, а также в структуированной, например CSV или JSON.
Сохранение в формате SQL
Формат результата:
[% "INSERT INTO archive VALUES('" _ query _ "', '" _ p1.first _ "', '" _ p1.last _ "', '" _ p1.times _ "')\n" %]
Пример результата:
INSERT INTO archive VALUES('http://a-parser.com/', '16.03.2012', '16.01.2021', '290')
INSERT INTO archive VALUES('http://yandex.ru/', '06.12.1998', '25.03.2021', '141421')
INSERT INTO archive VALUES('http://facebook.com/', '12.12.1998', '25.03.2021', '4877156')
INSERT INTO archive VALUES('http://vk.com/', '11.05.2000', '25.03.2021', '172132')
INSERT INTO archive VALUES('http://google.com/', '11.11.1998', '25.03.2021', '5969502')
INSERT INTO archive VALUES('http://youtube.com/', '28.04.2005', '25.03.2021', '2309673')
Дамп результатов в JSON
Формат результата:
[% data = {};
data.query = query;
data.first = p1.first;
data.last = p1.last;
data.times = p1.times; %]$data.json\n
Пример результата:
{"first":"12.12.1998","query":"http://facebook.com/","last":"25.03.2021","times":4877156}
{"first":"06.12.1998","query":"http://yandex.ru/","last":"25.03.2021","times":141421}
{"first":"16.03.2012","query":"http://a-parser.com/","last":"16.01.2021","times":290}
{"first":"28.04.2005","query":"http://youtube.com/","last":"25.03.2021","times":2309673}
{"first":"11.11.1998","query":"http://google.com/","last":"25.03.2021","times":5969502}
{"first":"11.05.2000","query":"http://vk.com/","last":"25.03.2021","times":172132}