Lista över termer
Scraper
En scraper är ett skript som samlar in data från angivna webbresurser baserat på angivna frågor, bearbetar dem och visar resultatet i ett standardformat eller ett angivet format.
Inbyggda scrapers
Inbyggda scrapers är förinstallerade scrapers som är tillgängliga från start och vars funktionalitet underhålls löpande.
Anpassade JS-scrapers
Anpassade JS-scrapers är scrapers med öppen källkod skrivna i JavaScript som är tillgängliga i JS-scraper-redigeraren, vilka kan exporteras och importeras tillsammans med en uppgift. Exempel på sådana scrapers finns i Katalogen för scrapers och förinställningar.
Förinställning
En förinställning (preset) är både en sparad uppgift som skapas i Uppgiftsredigeraren genom att välja en kombination av scrapers, inställningar och alternativ för att utföra en uppgift, samt inställningar för en enskild scraper (inställningspreset).
Inställningar för scraper
Inställningar för scraper är alternativ som kan redigeras eller ändras (skrivas över) för en annan algoritm i scraperns arbete för att erhålla ett anpassat resultat.
Sparad uppgift
En sparad uppgift är en förinställning som har sparats och kan återanvändas.
Trådkonfiguration
En trådkonfiguration är en samling trådinställningar som kan sparas under ett namn och återanvändas med olika förinställningar.
Trådar
Trådar är en mängd samtidigt körda kontexter för dataskrapning, där scrapern parallellt utför förfrågningar, växlar proxy enligt en viss strategi angiven i Trådkonfigurationen, och loggar processen för dataskrapning för varje förfrågan.
Proxychecker
En proxychecker är en kontrollant som ansvarar för laddning och kontroll av proxyer med hjälp av en samling inställningar för proxycheckern.
Proxy
En proxy är en sträng/array av strängar i ett visst format (eller en länk till en sträng/array av strängar) som gör det möjligt att dölja den verkliga IP-adressen genom att skicka förfrågningar vid dataskrapning och överföra datapaket från servern till klienten via en mellanliggande proxyserver.
Resultatmall
En resultatmall är en mall som definierar formatet och den insamlade datan i resultatet, angiven direkt eller med hjälp av den inbyggda mallmotorn Template Toolkit.