Coda delle attività
Il funzionamento di A-Parser si basa su una coda di attività: aggiungi le attività e queste vengono eseguite in ordine, consentendo di caricare lo scraper con il lavoro per lungo tempo senza dover monitorare quando finirà.
Vantaggi principali della coda di attività in A-Parser
- Supporto per l'esecuzione di più attività contemporaneamente
- Sospensione e arresto completo dell'esecuzione dell'attività
- Salvataggio dei risultati intermedi delle attività, che consente di continuare il lavoro dal momento in cui lo scraper è stato spento (o il computer\server è stato arrestato)
- Spostamento di singole attività nella coda
- Possibilità di modificare attività già create, nonché di copiare attività per il riutilizzo
- Le attività completate passano alla coda delle attività completate, dove è possibile visualizzare i risultati di ogni attività e scaricare il risultato
Algoritmo di funzionamento
Slot di lavoro delle attività
Il numero di attività in esecuzione simultanea è regolato dagli slot di lavoro, questo parametro è specificato nelle impostazioni generali (Settings -> Global Settings -> Max active tasks). Per impostazione predefinita è impostato il valore 1, ovvero un'attività in esecuzione alla volta, le altre aspetteranno il loro turno.
Stati dell'attività nella coda
Ogni attività ha il suo stato, ecco l'elenco dei possibili stati:
| Stato | Descrizione |
|---|---|
waitSlot | In attesa di uno slot libero per l'esecuzione dell'attività, una nuova attività entra sempre in coda con questo stato |
work | L'attività è in esecuzione |
paused | L'attività è sospesa, mentre mantiene lo slot di lavoro, impedendo l'avvio delle attività successive |
stopped | L'attività è interrotta, liberando lo slot di lavoro |
completed | L'attività è completata - tutte le query sono state elaborate, l'attività passa alla coda delle attività completate, lo slot di lavoro viene liberato |
Quando si imposta il parametro Max active tasks (Massimo attività attive) superiore a uno, è necessario considerare che il numero di thread aumenterà, così come il consumo complessivo di risorse da parte dello scraper.
Per ottenere la massima velocità di lavoro, utilizzare sempre una sola attività, con il numero ottimale di thread selezionato per lo specifico computer\server.