Felsökning av uppgifter
Testning av mallar
Test av uppgift
Uppgiftstestaren gör det möjligt att testa hela förinställningen fullt ut, inklusive flera scrapers och konstruktörer. Hela arbetsprocessen kan kontrolleras tack vare loggvisning för varje tråd och granskning av resultat. All data uppdateras i realtid.
Följande information är tillgänglig i uppgiftstestarens gränssnitt:
- Frågor slutförda/totalt
- Information om frågor, antal slutförda, totalt antal frågor
- Maximalt antal trådar - 5
- Maximalt antal frågor - 10
- Aktuell fråga
- Antal misslyckade frågor
- Val av frågegräns
- Logg för var och en av de 5 trådarna, där man kan hitta fullständig information om frågor och fel
- Fält för resultat av dataskrapning
- Om flera resultatfiler används - visas innehållet i varje fil
Testskrapning
På fliken Parser Test (Testskrapning) finns möjlighet till testskrapning för att skapa och felsöka egna förinställningar. Till skillnad från Uppgiftsredigeraren finns här ingen möjlighet att använda konstruktörer för frågor och resultat, använda flera scrapers, makron stöds inte, det finns ingen flernivåskrapning och andra funktioner som stöds i uppgiftsredigeraren.
Sektionen är skapad enligt principen för ett enhetstest, där man kan testa enskilda scrapers. Hela arbetsprocessen visas som en logg, vilket gör det möjligt att få detaljerad information om scraperns (förinställningens) arbete, från att frågan skickas till att resultaten tas emot:
I "Testskrapning" finns ett område för snabbinställningar: inaktivering av autoscroll och aktivering av debug-läge
Som standard är "autoscroll" aktiverat - detta innebär att vi automatiskt flyttas nedåt allteftersom information skrivs till loggen
När "autoscroll" är inaktiverat ändrar ikonen utseende - detta innebär att vi stannar kvar på samma ställe allteftersom information skrivs till loggen, ingen automatisk förflyttning nedåt sker
Som standard är debug-läget inaktiverat - detta innebär att allmän information om dataskrapningen visas i loggen.
När vi aktiverar debug-läget ändrar ikonen utseende och detaljerad information om dataskrapningen visas i loggen.
I loggfönstret med aktiverat debug-läge ser vi detaljerad information om dataskrapningen:
I frågedelen kan vi se:
- Frågans namn
- Frågesträngen som skickas till servern
- Lista över parametrar som skickas med frågan (headers, kodning, filter etc.)
I svarsdelen som vi får från servern ser vi följande information:
See in debug window - länk till fönstret där sidan som erhölls som resultat av frågan visas
See full data - länk till fönstret med källkoden som erhölls som resultat av frågan
Go to Regex Builder - länk till Konstruktör för reguljära uttryck med källkoden som erhölls som resultat av frågan
Om "autoscroll"-läget främst är till för bekvämlighet vid granskning, så är "debug"-läget ett oumbärligt verktyg för felsökning av egna scrapers och förinställningar. Genom att analysera informationen från loggen i "debug"-läge kan vi se i vilket skede och vad som händer under uppgiftens utförande, hur frågan formas och vad scrapern får som svar.