Görev Kuyruğu
A-Parser çalışması bir görev kuyruğuna dayanır - görevleri eklersiniz ve bunlar sırayla yürütülür, böylece veri kazıyıcıyı uzun süre iş yüküyle yüklemenize ve ne zaman biteceğini takip etmemenize olanak tanır.
A-Parser görev kuyruğunun temel avantajları
- Aynı anda birden fazla görevin yürütülmesini destekleme
- Görev yürütmeyi duraklatma ve tamamen durdurma
- Görevlerin ara sonuçlarını kaydetme, bu da veri kazıyıcının kapatıldığı (veya bilgisayarın\sunucunun kapandığı) andan itibaren çalışmaya devam etmeyi sağlar
- Kuyruktaki münferit görevlerin yerini değiştirme
- Halihazırda oluşturulmuş görevleri düzenleme ve görevleri yeniden kullanım için kopyalama imkanı
- Tamamlanan görevler, her bir görevin çalışma sonuçlarını görebileceğiniz ve sonucu indirebileceğiniz tamamlanmış görevler kuyruğuna taşınır
Çalışma algoritması
Görev çalışma slotları
Aynı anda çalışan görevlerin sayısı çalışma slotları ile düzenlenir, bu parametre genel ayarlarda belirtilir (Settings -> Global Settings -> Max active tasks). Varsayılan olarak 1 değeri ayarlanmıştır, yani aynı anda çalışan bir görev vardır, diğerleri sıralarını bekleyecektir.
Kuyruktaki görev durumları
Her görevin kendi durumu vardır, işte olası durumların listesi:
| Durum | Açıklama |
|---|---|
waitSlot | Görevin yürütülmesi için boş bir slot bekleniyor, yeni bir görev her zaman bu durumla kuyruğa girer |
work | Görev yürütülüyor |
paused | Görev duraklatıldı, bu sırada çalışma slotunu tutar ve sonraki görevlerin başlamasına izin vermez |
stopped | Görev durduruldu, bu sırada çalışma slotu serbest kalır |
completed | Görev tamamlandı - tüm sorgular işlendi, görev tamamlanmış görevler kuyruğuna geçer, çalışma slotu serbest kalır |
Max active tasks (Maksimum aktif görev) parametresini birden fazla olarak ayarlarken, veri kazıyıcı tarafından toplam kaynak tüketiminin yanı sıra iş parçacığı sayısının da artacağını göz önünde bulundurmalısınız.
Maksimum çalışma hızına ulaşmak için, belirli bir bilgisayar\sunucu için seçilen optimum iş parçacığı sayısıyla her zaman tek bir görev kullanın.