Terimler Listesi

Veri Kazıyıcı

Veri Kazıyıcı - belirtilen web kaynaklarından belirtilen sorgulara göre veri toplayan, bunları işleyen ve sonucu varsayılan veya belirtilen formatta çıktı olarak veren bir betiktir.

Yerleşik veri kazıyıcılar

Yerleşik veri kazıyıcılar - başlangıçta mevcut olan ve işlevselliği sürekli olarak desteklenen önceden yüklenmiş veri kazıyıcılardır.

Özel JS veri kazıyıcılar

Özel JS veri kazıyıcılar - JavaScript ile yazılmış, JS veri kazıyıcı Düzenleyicisi içinde bulunan ve görevle birlikte dışa veya içe aktarılabilen açık kaynaklı veri kazıyıcılardır. Bu tür veri kazıyıcıların örnekleri Veri Kazıyıcı ve Preset Kataloğu sayfasında bulunabilir.

Preset

Preset - hem Görev Düzenleyici'de bir görevi yerine getirmek için veri kazıyıcıların, ayarların ve seçeneklerin birleşimi seçilerek oluşturulan kaydedilmiş görev, hem de ayrı bir veri kazıyıcının ayarlarıdır (ayarlar preseti).

Veri kazıyıcı ayarları

Veri kazıyıcı ayarları - standart dışı bir sonuç elde etmek amacıyla veri kazıyıcının farklı bir çalışma algoritması için düzenlenebilen veya değiştirilebilen (geçersiz kılınabilen) seçeneklerdir.

Kaydedilmiş görev

Kaydedilmiş görev - kaydedilmiş ve tekrar kullanılabilen bir presettir.

İş parçacığı yapılandırması

İş parçacığı yapılandırması - bir isim altında kaydedilebilen ve farklı presetlerle tekrar kullanılabilen iş parçacığı ayarları bütünüdür.

İş parçacıkları

İş parçacıkları (Threads), veri kazıyıcının paralel olarak sorguları yürüttüğü, Proxy ayarlarında belirtilen belirli bir stratejiye göre Proxy listesini taradığı ve her sorgu için veri çekme sürecini günlüğe kaydettiği, veri çekme işlemi için eşzamanlı olarak başlatılan bağlamlar kümesidir.

Proxy Denetleyici

Proxy denetleyici, proxy denetleyici ayarlarını kullanarak proxylerin yüklenmesinden ve doğrulanmasından sorumlu olan bir denetleyicidir.

Proxy

Proxy, veri çekme sırasında sorgular göndererek ve veri paketlerini bir ara proxy sunucusu aracılığıyla sunucudan istemciye ileterek gerçek IP adresini gizlemeye olanak tanıyan belirli bir formattaki dize/dize dizisidir (veya bir dizeye/dize dizisine bağlantıdır).

Sonuç Şablonu

Sonuç şablonu, doğrudan veya yerleşik Template Toolkit şablon motoru kullanılarak tanımlanan, sonucun formatını ve toplanan verilerini belirleyen bir şablondur.