File des tâches
Le fonctionnement d'A-Parser est basé sur une file des tâches : vous ajoutez des tâches et elles sont exécutées dans l'ordre, ce qui permet de charger le scraper de travail pour une longue période sans avoir à surveiller la fin de l'exécution.
Principaux avantages de la file des tâches dans A-Parser
- Prise en charge de l'exécution de plusieurs tâches simultanément
- Mise en pause et arrêt complet de l'exécution d'une tâche
- Sauvegarde des résultats intermédiaires des tâches, permettant de reprendre le travail au moment de l'arrêt du scraper (ou de l'extinction de l'ordinateur/serveur)
- Déplacement de tâches individuelles dans la file
- Possibilité de modifier des tâches déjà créées, ainsi que de copier des tâches pour une réutilisation ultérieure
- Les tâches terminées passent dans la file des tâches terminées, où il est possible de consulter les résultats de chaque tâche et de télécharger le résultat
Algorithme de fonctionnement
Slots de travail des tâches
Le nombre de tâches s'exécutant simultanément est régulé par des slots de travail, ce paramètre est indiqué dans les paramètres généraux (Settings -> Global Settings -> Max active tasks). Par défaut, la valeur est fixée à 1, c'est-à-dire une seule tâche s'exécutant à la fois, les autres attendront leur tour.
Statuts des tâches dans la file
Chaque tâche possède son propre statut, voici la liste des états possibles :
| Statut | Description |
|---|---|
waitSlot | Attente d'un slot libre pour l'exécution de la tâche, une nouvelle tâche arrive toujours dans la file avec ce statut |
work | La tâche est en cours d'exécution |
paused | La tâche est en pause, tout en conservant le slot de travail, empêchant le lancement des tâches suivantes |
stopped | La tâche est arrêtée, libérant ainsi le slot de travail |
completed | La tâche est terminée - toutes les requêtes ont été traitées, la tâche passe dans la file des tâches terminées, le slot de travail est libéré |
Lors de la configuration du paramètre Max active tasks (Maximum de tâches actives) au-delà de un, il faut tenir compte du fait que le nombre de threads augmentera, tout comme la consommation globale de ressources par le scraper.
Pour atteindre la vitesse de fonctionnement maximale, utilisez toujours une seule tâche, avec un nombre optimal de threads adapté à l'ordinateur/serveur spécifique.