Ana içeriğe atla

Rank::Archive - Web arşivindeki sitenin ilk ve son önbelleğe alınma tarihlerini bulan veri kazıyıcı

Veri Kazıyıcı İncelemesi​

Veri kazıyıcı incelemesiRank::ArchiveRank::Archive – Web Arşivi veri kazıyıcı, ilk ve son önbelleğe alma tarihini ve ayrıca sitenin kaydedilen kopya sayısını belirler.

A-Parser işlevselliği, Rank::Archive veri kazıyıcı için veri çekme ayarlarını daha sonra kullanmak üzere kaydetmenize (şablonlar), veri çekme zamanlaması belirlemenize ve çok daha fazlasına olanak tanır.

Sonuçların kaydedilmesi, sonuçlara ek mantık uygulamanıza ve verileri JSON, SQL ve CSV dahil olmak üzere çeşitli formatlarda çıktı almanıza olanak tanıyan yerleşik güçlü şablonlayıcı Template Toolkit sayesinde ihtiyacınız olan biçim ve yapıda mümkündür.

Toplanan Veriler​

  • İlk önbelleğe alma tarihi
  • Son önbelleğe alma tarihi
  • Sitenin kaydedilen kopya sayısı
Toplanan veriler

Kullanım Durumları​

  • Web arşivinde bir site kopyasının varlığının kontrol edilmesi ve ayrıca ilk ve son kopyanın indeksleme tarihlerinin belirlenmesi
  • Alan adı değerlendirmesi: Web arşivindeki yüksek site kopyası sayısı, sitenin yüksek trafiğe sahip olduğunu gösterebilir

Sorgular​

Sorgu olarak aranacak sitenin alan adını belirtmeniz gerekir, örneğin:

a-parser.com
www.yahoo.com
google.com
vk.com
youtube.com

Sonuç Çıktı Seçenekleri​

A-Parser, yerleşik şablonlayıcı Template Toolkit sayesinde esnek sonuç formatlamayı destekler; bu da sonuçları rastgele formlarda ve ayrıca CSV veya JSON gibi yapılandırılmış formlarda çıktı almasına olanak tanır.

Varsayılan Çıktı​

Sonuç formatı:

$query: $first - $last ($times times)\n

Sonuçta site, ilk ve son kopyanın indeksleme tarihleri ve sitenin kaydedilen kopya sayısı görüntülenir:

vk.com: 11.05.2000 - 21.05.2014(8965 times)  
youtube.com: 28.04.2005 - 21.05.2014(28150 times)  
a-parser.com: 16.03.2012 - 17.05.2014(56 times)  
google.com: 11.11.1998 - 21.05.2014(34575 times)  
www.yahoo.com: 17.10.1996 - 20.05.2014(28537 times)

SQL Formatında Kaydetme​

Sonuç formatı:

[% "INSERT INTO archive VALUES('" _ query _ "', '" _ first _ "', '" _ last _ "', '" _ times _ "')\n" %]

Sonuç örneği:

INSERT INTO archive VALUES('http://a-parser.com/', '16.03.2012', '16.01.2021', '290')
INSERT INTO archive VALUES('http://yandex.ru/', '06.12.1998', '25.03.2021', '141421')
INSERT INTO archive VALUES('http://facebook.com/', '12.12.1998', '25.03.2021', '4877156')
INSERT INTO archive VALUES('http://vk.com/', '11.05.2000', '25.03.2021', '172132')
INSERT INTO archive VALUES('http://google.com/', '11.11.1998', '25.03.2021', '5969502')
INSERT INTO archive VALUES('http://youtube.com/', '28.04.2005', '25.03.2021', '2309673')

Sonuçların JSON Formatında Dökümü​

Genel sonuç formatı:

[% IF notFirst;
  ",\n";
ELSE;
  notFirst = 1;
END;

obj = {};
obj.query = query;
obj.first = p1.first;
obj.last = p1.last;
obj.times = p1.times;

obj.json %]

Başlangıç metni:

[

Bitiş metni:

]

Sonuç örneği:

[
    {"first":"12.12.1998","query":"http://facebook.com/","last":"25.03.2021","times":4877156},
    {"first":"06.12.1998","query":"http://yandex.ru/","last":"25.03.2021","times":141421},
    {"first":"16.03.2012","query":"http://a-parser.com/","last":"16.01.2021","times":290},
    {"first":"28.04.2005","query":"http://youtube.com/","last":"25.03.2021","times":2309673},
    {"first":"11.11.1998","query":"http://google.com/","last":"25.03.2021","times":5969502},
    {"first":"11.05.2000","query":"http://vk.com/","last":"25.03.2021","times":172132}
]
ipucu

"Prepend text" ve "Append text" seçeneklerinin Görev Düzenleyici'de kullanılabilir olması için "More options" kısmını etkinleştirmeniz gerekir.

Olası Ayarlar​

not

Tüm veri kazıyıcılar için ortak ayarlar