Debugowanie zadań
Testowanie szablonów
Test zadania
Tester zadań pozwala przetestować cały preset w pełni, włączając w to wiele scraperów i Konstruktory. Cały proces pracy można kontrolować dzięki wyświetlaniu logów dla każdego wątku i podglądowi wyników. Wszystkie dane są aktualizowane w czasie rzeczywistym.
W interfejsie testera zadań dostępne są następujące informacje:
- Zapytania zakończone/wszystkie
- Informacje o zapytaniach, liczba zakończonych, całkowita liczba zapytań
- Maksymalna liczba wątków - 5
- Maksymalna liczba zapytań - 10
- Bieżące zapytanie
- Liczba nieudanych zapytań
- Wybór limitu zapytań
- Log każdego z 5 wątków, w których można znaleźć pełne informacje o zapytaniach i błędach
- Pole wyniku scrapowania
- Jeśli używanych jest kilka plików wynikowych - wyświetlana jest zawartość każdego pliku
Testowe scrapowanie
Na karcie Parser Test (Testowe scrapowanie) istnieje możliwość testowego scrapowania w celu tworzenia i debugowania własnych presetów. W przeciwieństwie do Edytora zadań, tutaj nie ma możliwości używania konstruktorów zapytań i wyników, używania wielu scraperów, nie są obsługiwane makra, nie ma scrapowania wielopoziomowego ani innych funkcji, które są obsługiwane w edytorze zadań.
Sekcja została stworzona na zasadzie testu modułowego, w którym można testować poszczególne scrapery. Cały proces pracy jest wyświetlany w formie logu, co pozwala uzyskać szczegółowe informacje o pracy scrapera (presetu), począwszy od wysłania zapytania aż do otrzymania wyników:
W "Testowym scrapowaniu" istnieje obszar szybkich ustawień: wyłączenie autoscrolla i włączenie trybu debug
Domyślnie "autoscroll" jest włączony - oznacza to, że w miarę wyświetlania informacji w logu, będziemy automatycznie przesuwać się w dół
Gdy "autoscroll" jest wyłączony, ikona zmienia swój wygląd - oznacza to, że w miarę wyświetlania informacji w logu, pozostaniemy w miejscu, nie będzie automatycznego przesuwania w dół
Domyślnie tryb debug jest wyłączony - oznacza to, że w logu będą wyświetlane ogólne informacje o scrapowaniu.
Gdy aktywujemy tryb debug, ikona zmienia swój wygląd i w logu będą wyświetlane szczegółowe informacje o scrapowaniu.
W oknie logu z włączonym trybem debug widzimy szczegółowe informacje o scrapowaniu:
W części zapytania możemy zobaczyć:
- Nazwę zapytania
- Ciąg zapytania, który jest wysyłany do serwera
- Listę parametrów wysyłanych wraz z zapytaniem (nagłówki, kodowanie, filtry itp.)
W części odpowiedzi otrzymanej z serwera widzimy następujące informacje:
See in debug window - link do okna, w którym wyświetlana jest strona otrzymana w wyniku zapytania
See full data - link do okna z kodem źródłowym otrzymanym w wyniku zapytania
Go to Regex Builder - link do Konstruktora wyrażeń regularnych z kodem źródłowym otrzymanym w wyniku zapytania
Podczas gdy tryb "autoscroll" został stworzony bardziej dla wygody przeglądania, tryb "debug" jest niezastąpionym narzędziem do debugowania własnych scraperów i presetów. Analizując informacje uzyskane z logu w trybie "debug", możemy zobaczyć, na jakim etapie i co dzieje się podczas wykonywania zadania, jak formowane jest zapytanie i co scraper otrzymuje w odpowiedzi.