Przejdź do treści głównej

Rank::Archive - Scraper daty pierwszego i ostatniego buforowania witryny w Web Archive

Przegląd scrapera​

Przegląd scraperaRank::ArchiveRank::Archive – scraper Web Archive, określa datę pierwszego i ostatniego buforowania, a także liczbę zapisanych kopii strony.

Funkcjonalność A-Parser pozwala na zapisywanie ustawień scrapowania scrapera Rank::Archive do dalszego wykorzystania (presety), ustawianie harmonogramu scrapowania i wiele więcej.

Zapisywanie wyników jest możliwe w dowolnej formie i strukturze, dzięki wbudowanemu potężnemu silnikowi szablonów Template Toolkit, który pozwala na stosowanie dodatkowej logiki do wyników i wyprowadzanie danych w różnych formatach, w tym JSON, SQL i CSV.

Pobierane dane​

  • Data pierwszego buforowania
  • Data ostatniego buforowania
  • Liczba zapisanych kopii serwisu
Pobierane dane

Warianty użycia​

  • Sprawdzanie obecności kopii serwisu w web archive, a także daty indeksacji pierwszej i ostatniej kopii
  • Ocena domen: duża liczba kopii serwisu w web archive może świadczyć o dużym ruchu na stronie

Zapytania​

Jako zapytania należy podawać domenę szukanej strony, na przykład:

a-parser.com
www.yahoo.com
google.com
vk.com
youtube.com

Warianty wyświetlania wyników​

A-Parser obsługuje elastyczne formatowanie wyników dzięki wbudowanemu silnikowi szablonów Template Toolkit, co pozwala mu na wyprowadzanie wyników w dowolnej formie, a także w formie strukturalnej, na przykład CSV lub JSON

Wynik domyślny​

Format wyniku:

$query: $first - $last ($times times)\n

W wyniku wyświetlana jest strona, daty indeksacji pierwszej i ostatniej kopii oraz liczba zapisanych kopii serwisu:

vk.com: 11.05.2000 - 21.05.2014(8965 times)  
youtube.com: 28.04.2005 - 21.05.2014(28150 times)  
a-parser.com: 16.03.2012 - 17.05.2014(56 times)  
google.com: 11.11.1998 - 21.05.2014(34575 times)  
www.yahoo.com: 17.10.1996 - 20.05.2014(28537 times)

Zapisywanie w formacie SQL​

Format wyniku:

[% "INSERT INTO archive VALUES('" _ query _ "', '" _ first _ "', '" _ last _ "', '" _ times _ "')\n" %]

Przykład wyniku:

INSERT INTO archive VALUES('http://a-parser.com/', '16.03.2012', '16.01.2021', '290')
INSERT INTO archive VALUES('http://yandex.ru/', '06.12.1998', '25.03.2021', '141421')
INSERT INTO archive VALUES('http://facebook.com/', '12.12.1998', '25.03.2021', '4877156')
INSERT INTO archive VALUES('http://vk.com/', '11.05.2000', '25.03.2021', '172132')
INSERT INTO archive VALUES('http://google.com/', '11.11.1998', '25.03.2021', '5969502')
INSERT INTO archive VALUES('http://youtube.com/', '28.04.2005', '25.03.2021', '2309673')

Zrzut wyników do JSON​

Ogólny format wyniku:

[% IF notFirst;
  ",\n";
ELSE;
  notFirst = 1;
END;

obj = {};
obj.query = query;
obj.first = p1.first;
obj.last = p1.last;
obj.times = p1.times;

obj.json %]

Tekst początkowy:

[

Tekst końcowy:

]

Przykład wyniku:

[
    {"first":"12.12.1998","query":"http://facebook.com/","last":"25.03.2021","times":4877156},
    {"first":"06.12.1998","query":"http://yandex.ru/","last":"25.03.2021","times":141421},
    {"first":"16.03.2012","query":"http://a-parser.com/","last":"16.01.2021","times":290},
    {"first":"28.04.2005","query":"http://youtube.com/","last":"25.03.2021","times":2309673},
    {"first":"11.11.1998","query":"http://google.com/","last":"25.03.2021","times":5969502},
    {"first":"11.05.2000","query":"http://vk.com/","last":"25.03.2021","times":172132}
]
wskazówka

Aby opcje "Prepend text" i "Append text" były dostępne w Edytorze zadań, należy aktywować "More options".

Możliwe ustawienia​

notatka

Ustawienia ogólne dla wszystkich scraperów