Hoppa till huvudinnehåll

Jobbkö

Arbetet med A-Parser är baserat på en uppgiftskö - du lägger till uppgifter och de utförs i ordning, vilket gör att du kan ladda scrapern med arbete under lång tid utan att behöva övervaka när den blir klar.

Uppgiftskö

De främsta fördelarna med uppgiftskön i A-Parser

  • Stöd för att köra flera uppgifter samtidigt
  • Pausa och stoppa körningen av en uppgift helt
  • Sparande av mellanliggande resultat, vilket gör det möjligt att fortsätta arbetet från den punkt där scrapern stängdes av (eller datorn/servern stängdes ner)
  • Flytta enskilda uppgifter i kön
  • Möjlighet att redigera redan skapade uppgifter, samt kopiera uppgifter för återanvändning
  • Slutförda uppgifter flyttas till kön för slutförda uppgifter, där du kan se resultaten för varje uppgift och ladda ner resultatet

Algoritm för arbete

Köalgoritm

Arbetsplatser för uppgifter

Antalet samtidigt körande uppgifter regleras av arbetsplatser (slots), denna parameter anges i de allmänna inställningarna (Settings -> Global Settings -> Max active tasks). Som standard är värdet inställt på 1, vilket innebär en samtidigt körande uppgift; andra kommer att vänta på sin tur.

Uppgiftsstatus i kön

Varje uppgift har sin egen status, här är en lista över möjliga tillstånd:

StatusBeskrivning
waitSlotVäntar på en ledig plats för att utföra uppgiften, en ny uppgift hamnar alltid i kön med denna status
workUppgiften utförs
pausedUppgiften är pausad, samtidigt som den behåller sin arbetsplats och förhindrar att nästa uppgifter startar
stoppedUppgiften är stoppad, vilket frigör arbetsplatsen
completedUppgiften är slutförd - alla förfrågningar har behandlats, uppgiften flyttas till kön för slutförda uppgifter, arbetsplatsen frigörs

När du ställer in parametern Max active tasks (Maximalt antal aktiva uppgifter) till mer än ett bör du tänka på att antalet trådar kommer att öka, liksom scraperns totala resursförbrukning.

tips

För att uppnå maximal arbetshastighet bör du alltid använda endast en uppgift, med ett optimalt antal trådar anpassat för den specifika datorn/servern.