Taken debuggen

Sjablonen testen

Meer informatie over Sjablonen testen

Taaktest

De taaktester stelt u in staat om de volledige preset te testen, inclusief meerdere scrapers en de Constructors. Het gehele proces kan worden gecontroleerd dankzij de weergave van logs voor elke thread en het bekijken van resultaten. Alle gegevens worden in realtime bijgewerkt.

In de interface van de taaktester is de volgende informatie beschikbaar:

• Query's voltooid/totaal
  • Informatie over query's, aantal voltooide, totaal aantal query's
  • Maximaal aantal threads - 5
  • Maximaal aantal query's - 10
• Huidige query
• Aantal mislukte query's
• Selectie van querylimiet
• Log van elk van de 5 threads, hierin vindt u volledige informatie over query's en fouten
• Veld voor het resultaat van de gegevensextractie
  • Als er meerdere resultaatbestanden worden gebruikt, wordt de inhoud van elk bestand weergegeven

Test-gegevensextractie

Op het tabblad Parser Test (Test-gegevensextractie) is er de mogelijkheid voor test-gegevensextractie voor het maken en debuggen van uw eigen presets. In tegenstelling tot de Taakeditor is het hier niet mogelijk om query- en resultaat-constructors te gebruiken, meerdere scrapers te gebruiken, macro's worden niet ondersteund, er is geen multi-level gegevensextractie en andere functies die wel in de taakeditor worden ondersteund.

De sectie is opgezet volgens het principe van een modulaire test, waarin individuele scrapers kunnen worden getest. Het gehele proces wordt weergegeven in de vorm van een log, waardoor gedetailleerde informatie over de werking van de scraper (preset) kan worden verkregen, vanaf het verzenden van de query tot het ontvangen van de resultaten:

In "Test-gegevensextractie" is er een gebied voor snelle instellingen: het uitschakelen van autoscroll en het inschakelen van de debug-modus

Standaard is "autoscroll" ingeschakeld - dit betekent dat we automatisch naar beneden scrollen naarmate er informatie in het log verschijnt

Wanneer "autoscroll" is uitgeschakeld, verandert het pictogram - dit betekent dat we op dezelfde plek blijven terwijl er informatie in het log verschijnt, er vindt geen automatische verplaatsing naar beneden plaats

Standaard is de debug-modus uitgeschakeld - dit betekent dat er algemene informatie over de gegevensextractie in het log wordt weergegeven.

Wanneer we de debug-modus activeren, verandert het pictogram en wordt er gedetailleerde informatie over de gegevensextractie in het log weergegeven.

In het logvenster met ingeschakelde debug-modus zien we gedetailleerde informatie over de gegevensextractie:

In het query-gedeelte kunnen we zien:

• Naam van de query
• De query-string die naar de server wordt verzonden
• Lijst met parameters die samen met de query worden verzonden (headers, codering, filters, enz.)

In het antwoordgedeelte dat we van de server ontvangen, zien we de volgende informatie:

• See in debug window - link naar het venster waar de pagina wordt weergegeven die als resultaat van de query is verkregen

  

• See full data - link naar het venster met de broncode die als resultaat van de query is verkregen

  

• Go to Regex Builder - link naar de Regex Builder met de broncode die als resultaat van de query is verkregen

Terwijl de "autoscroll"-modus meer voor het kijkgemak is gemaakt, is de "debug"-modus een onmisbaar hulpmiddel voor het debuggen van uw eigen scrapers en presets. Door de informatie uit het log in de "debug"-modus te analyseren, kunnen we zien in welk stadium en wat er gebeurt tijdens de uitvoering van de taak, hoe de query wordt gevormd en wat de scraper als antwoord ontvangt.