Vai al contenuto principale

Rank::Archive - Scraper della data di prima e ultima memorizzazione nel web archive

Panoramica dello scraper​

Panoramica dello scraperRank::ArchiveRank::Archive – scraper di Web Archive, determina la data della prima e dell'ultima memorizzazione nella cache, nonché il numero di copie salvate del sito.

La funzionalità di A-Parser consente di salvare le impostazioni di scraping dello scraper Rank::Archive per un utilizzo futuro (preset), impostare pianificazioni di scraping e molto altro.

Il salvataggio dei risultati è possibile nel formato e nella struttura necessari, grazie al potente motore di modelli integrato Template Toolkit che permette di applicare logica aggiuntiva ai risultati e di esportare i dati in vari formati, inclusi JSON, SQL e CSV.

Dati raccolti​

  • Data della prima memorizzazione in cache
  • Data dell'ultima memorizzazione in cache
  • Numero di copie salvate del sito
Dati raccolti

Casi d'uso​

  • Verifica della presenza di una copia del sito nel web archive, nonché delle date di indicizzazione della prima e dell'ultima copia
  • Valutazione dei domini: un elevato numero di copie del sito nel web archive può indicare un alto traffico sul sito

Query​

Come query è necessario indicare il dominio del sito cercato, ad esempio:

a-parser.com
www.yahoo.com
google.com
vk.com
youtube.com

Esempi di output dei risultati​

A-Parser supporta la formattazione flessibile dei risultati grazie al motore di modelli integrato Template Toolkit, che gli consente di produrre risultati in forma libera o strutturata, come CSV o JSON

Output predefinito​

Formato del risultato:

$query: $first - $last ($times times)\n

Il risultato mostra il sito, le date di indicizzazione della prima e dell'ultima copia e il numero di copie salvate del sito:

vk.com: 11.05.2000 - 21.05.2014(8965 times)  
youtube.com: 28.04.2005 - 21.05.2014(28150 times)  
a-parser.com: 16.03.2012 - 17.05.2014(56 times)  
google.com: 11.11.1998 - 21.05.2014(34575 times)  
www.yahoo.com: 17.10.1996 - 20.05.2014(28537 times)

Salvataggio in formato SQL​

Formato del risultato:

[% "INSERT INTO archive VALUES('" _ query _ "', '" _ first _ "', '" _ last _ "', '" _ times _ "')\n" %]

Esempio di risultato:

INSERT INTO archive VALUES('http://a-parser.com/', '16.03.2012', '16.01.2021', '290')
INSERT INTO archive VALUES('http://yandex.ru/', '06.12.1998', '25.03.2021', '141421')
INSERT INTO archive VALUES('http://facebook.com/', '12.12.1998', '25.03.2021', '4877156')
INSERT INTO archive VALUES('http://vk.com/', '11.05.2000', '25.03.2021', '172132')
INSERT INTO archive VALUES('http://google.com/', '11.11.1998', '25.03.2021', '5969502')
INSERT INTO archive VALUES('http://youtube.com/', '28.04.2005', '25.03.2021', '2309673')

Dump dei risultati in JSON​

Formato comune del risultato:

[% IF notFirst;
  ",\n";
ELSE;
  notFirst = 1;
END;

obj = {};
obj.query = query;
obj.first = p1.first;
obj.last = p1.last;
obj.times = p1.times;

obj.json %]

Testo iniziale:

[

Testo finale:

]

Esempio di risultato:

[
    {"first":"12.12.1998","query":"http://facebook.com/","last":"25.03.2021","times":4877156},
    {"first":"06.12.1998","query":"http://yandex.ru/","last":"25.03.2021","times":141421},
    {"first":"16.03.2012","query":"http://a-parser.com/","last":"16.01.2021","times":290},
    {"first":"28.04.2005","query":"http://youtube.com/","last":"25.03.2021","times":2309673},
    {"first":"11.11.1998","query":"http://google.com/","last":"25.03.2021","times":5969502},
    {"first":"11.05.2000","query":"http://vk.com/","last":"25.03.2021","times":172132}
]
suggerimento

Affinché le opzioni "Prepend text" e "Append text" siano disponibili nell'Editor delle attività, è necessario attivare "More options".

Impostazioni possibili​

nota

Impostazioni comuni per tutti gli scraper