Glossar

Parser

Ein Parser ist ein Skript, das Daten von angegebenen Webressourcen basierend auf festgelegten Abfragen sammelt, diese verarbeitet und das Ergebnis im Standardformat oder einem benutzerdefinierten Format ausgibt.

Integrierte Scraper

Integrierte Scraper sind vorinstallierte Scraper, die von Anfang an verfügbar sind und deren Funktionsfähigkeit kontinuierlich aufrechterhalten wird.

Benutzerdefinierte JS-Scraper

Benutzerdefinierte JS-Scraper sind Open-Source-Scraper, die in JavaScript geschrieben und im Editor für JS-Scraper verfügbar sind. Sie können zusammen mit einer Aufgabe exportiert und importiert werden. Beispiele für solche Scraper finden Sie im Katalog für Scraper und Presets.

Preset

Ein Preset ist sowohl eine gespeicherte Aufgabe, die im Task-Editor durch Auswahl einer Kombination aus Scrapern, Einstellungen und Optionen zur Aufgabenerfüllung erstellt wird, als auch die Einstellung eines einzelnen Scrapers (Einstellungs-Preset).

Parser-Einstellungen

Scraper-Einstellungen sind Optionen, die bearbeitet oder geändert (überschrieben) werden können, um den Algorithmus des Scrapers anzupassen und ein spezifisches Ergebnis zu erhalten.

Gespeicherte Aufgabe

Eine gespeicherte Aufgabe ist ein Preset, das gespeichert wurde und wiederverwendet werden kann.

Thread-Konfiguration

Die Thread-Konfiguration ist eine Zusammenfassung von Thread-Einstellungen, die unter einem Namen gespeichert und mit verschiedenen Presets wiederverwendet werden kann.

Threads

Threads sind eine Vielzahl gleichzeitig zur Datenerfassung gestarteter Kontexte, in denen der Parser parallel Abfragen ausführt, Proxy nach einer bestimmten, in der Thread-Konfiguration festgelegten Strategie durchläuft und den Ausführungsprozess der Datenerfassung für jede Abfrage protokolliert.

Proxy-Checker

Ein Proxy-Checker ist ein Controller, der für das Laden und Überprüfen von Proxys unter Verwendung einer Kombination von Proxy-Checker-Einstellungen verantwortlich ist.

Proxy

Ein Proxy ist ein String/Array von Strings eines bestimmten Formats (oder ein Link zu einem String/Array von Strings), der es ermöglicht, die reale IP-Adresse zu verbergen, indem Abfragen bei der Datenerfassung gesendet und Datenpakete vom Server zum Client über einen zwischengeschalteten Proxy-Server übertragen werden.

Ergebnis-Template

Ein Ergebnis-Template ist eine Vorlage, die das Format und die gesammelten Ergebnisdaten definiert, die direkt oder mithilfe der integrierten Template-Engine Template Toolkit festgelegt werden.