Takenwachtrij
De werking van A-Parser is gebaseerd op een wachtrij met taken - u voegt taken toe en deze worden op volgorde uitgevoerd, waardoor de scraper voor een lange tijd aan het werk kan worden gezet zonder dat u hoeft te controleren wanneer hij klaar is.
Belangrijkste voordelen van de takenwachtrij in A-Parser
- Ondersteuning voor het gelijktijdig uitvoeren van meerdere taken
- Pauzeren en volledig stoppen van taakuitvoering
- Opslaan van tussenresultaten van taken, waardoor het werk kan worden hervat vanaf het moment dat de scraper werd uitgeschakeld (of de computer\server werd uitgezet)
- Verplaatsen van individuele taken in de wachtrij
- Mogelijkheid om reeds aangemaakte taken te bewerken, evenals het kopiëren van taken voor hergebruik
- Voltooide taken worden verplaatst naar de wachtrij met voltooide taken, waar de resultaten van elke taak kunnen worden bekeken en gedownload
Werkingsalgoritme
Werkplekken voor taken
Het aantal gelijktijdig actieve taken wordt geregeld door werkplekken (working slots). Deze parameter wordt opgegeven in de algemene instellingen (Settings -> Global Settings -> Max active tasks). Standaard is de waarde ingesteld op 1, wat betekent dat er één taak tegelijk wordt uitgevoerd en andere taken in de wachtrij blijven staan.
Taakstatussen in de wachtrij
Elke taak heeft een eigen status, hier is een lijst met mogelijke toestanden:
| Status | Beschrijving |
|---|---|
waitSlot | Wachten op een vrije plek voor taakuitvoering; een nieuwe taak komt altijd met deze status in de wachtrij |
work | Taak wordt uitgevoerd |
paused | Taak is gepauzeerd, waarbij deze de werkplek bezet houdt en voorkomt dat volgende taken starten |
stopped | Taak is gestopt, waarbij de werkplek vrijkomt |
completed | Taak is voltooid - alle query's zijn verwerkt, de taak verhuist naar de wachtrij met voltooide taken, de werkplek komt vrij |
Bij het instellen van de parameter Max active tasks (Maximum actieve taken) op meer dan één, moet u er rekening mee houden dat het aantal threads zal toenemen, evenals het totale verbruik van resources door de scraper.
Gebruik voor het bereiken van de maximale werksnelheid altijd slechts één taak, met een optimaal gekozen aantal threads voor de specifieke computer\server.