Zum Hauptinhalt springen

Aufgaben-Debugging

Testen von Vorlagen​

Mehr über das Testen von Vorlagen

Task-Test​

Der Task-Tester ermöglicht es, das gesamte Preset vollständig zu testen, einschließlich mehrerer Scraper und der Builder. Der gesamte Arbeitsprozess kann dank der Anzeige von Logs für jeden Thread und der Einsicht in die Ergebnisse kontrolliert werden. Alle Daten werden in Echtzeit aktualisiert.

Task-Test im Task-Editor

Im Interface des Task-Testers sind folgende Informationen verfügbar:

  • Abfragen abgeschl./gesamt
    • Informationen über Abfragen, Anzahl der abgeschlossenen, Gesamtzahl der Abfragen
    • Maximale Anzahl der Threads - 5
    • Maximale Anzahl der Abfragen - 10
  • Aktuelle Abfrage
  • Anzahl fehlgeschlagener Abfragen
  • Auswahl des Abfragelimits
  • Log für jeden der 5 Threads, in denen vollständige Informationen über Abfragen und Fehler zu finden sind
  • Feld für das Ergebnis der Datenerfassung
    • Wenn mehrere Ergebnisdateien verwendet werden, wird der Inhalt jeder Datei angezeigt
Task-Tester

Test-Datenerfassung​

Auf dem Tab Parser Test (Test-Datenerfassung) besteht die Möglichkeit einer Test-Datenerfassung zur Erstellung und zum Debugging eigener Presets. Im Gegensatz zum Task-Editor gibt es hier keine Möglichkeit, Abfrage-Builder und Ergebnis-Builder zu verwenden, mehrere Scraper zu nutzen, Makros werden nicht unterstützt, es gibt keine mehrstufige Datenerfassung und andere Funktionen, die im Task-Editor unterstützt werden.

Der Bereich ist nach dem Prinzip eines Modultests aufgebaut, in dem einzelne Scraper getestet werden können. Der gesamte Arbeitsprozess wird in Form eines Logs ausgegeben, was detaillierte Informationen über die Arbeit des Parsers (Presets) ermöglicht, angefangen vom Senden der Abfrage bis zum Erhalt der Ergebnisse:

Ergebnisse der Test-Datenerfassung

In der "Test-Datenerfassung" gibt es einen Bereich für Schnelleinstellungen: Deaktivieren des Autoscrolls und Aktivieren des Debug-Modus

Standardmäßig ist "Autoscroll" aktiviert – das bedeutet, dass wir beim Ausgeben von Informationen im Log automatisch nach unten scrollen


Wenn "Autoscroll" deaktiviert ist, ändert das Piktogramm sein Aussehen – das bedeutet, dass wir beim Ausgeben von Informationen im Log an der Stelle bleiben, es erfolgt kein automatisches Scrollen nach unten


Standardmäßig ist der Debug-Modus deaktiviert – das bedeutet, dass im Log allgemeine Informationen zur Datenerfassung ausgegeben werden.


Wenn wir den Debug-Modus aktivieren, ändert das Piktogramm sein Aussehen und im Log werden detaillierte Informationen zur Datenerfassung ausgegeben.

Im Log-Fenster mit aktiviertem Debug-Modus sehen wir detaillierte Informationen zur Datenerfassung:

Test-Datenerfassung im Debug-Modus

Im Teil der Abfrage können wir sehen:

  • Name der Abfrage
  • Abfrage-String, der an den Server gesendet wird
  • Liste der Parameter, die zusammen mit der Abfrage gesendet werden (Header, Kodierung, Filter usw.)

Im Teil der Antwort, die wir vom Server erhalten, sehen wir folgende Informationen:

  • See in debug window - Link zum Fenster, in dem die als Ergebnis der Abfrage erhaltene Seite angezeigt wird

    See in debug window

  • See full data - Link zum Fenster mit dem Quellcode, der als Ergebnis der Abfrage erhalten wurde

    See full data

  • Go to Regex Builder - Link zum Regex-Builder mit dem Quellcode, der als Ergebnis der Abfrage erhalten wurde

Während der "Autoscroll"-Modus eher für den Komfort beim Betrachten gedacht ist, ist der "Debug"-Modus ein unverzichtbares Werkzeug für das Debugging eigener Scraper und Presets. Durch die Analyse der Informationen aus dem Log im "Debug"-Modus können wir sehen, in welcher Phase was während der Ausführung des Tasks passiert, wie die Abfrage gebildet wird und was der Parser als Antwort erhält.