Debug dei task
Test dei modelli
Test dell'attività
Il tester delle attività consente di testare l'intero preset completamente, inclusi diversi scraper e i Costruttori. L'intero processo di lavoro può essere controllato grazie alla visualizzazione dei log per ogni thread e alla visualizzazione dei risultati. Tutti i dati vengono aggiornati in tempo reale.
Nell'interfaccia del tester delle attività sono disponibili le seguenti informazioni:
- Query completate/totali
- Informazioni sulle query, numero di query completate, numero totale di query
- Numero massimo di thread - 5
- Numero massimo di query - 10
- Query corrente
- Numero di query fallite
- Selezione del limite di query
- Log di ciascuno dei 5 thread, in cui è possibile trovare informazioni complete su query ed errori
- Campo del risultato dello scraping
- Se vengono utilizzati più file di risultati, viene visualizzato il contenuto di ciascun file
Scraping di prova
Nella scheda Parser Test (Scraping di prova), è possibile eseguire uno scraping di prova per la creazione e il debug dei propri preset. A differenza dell'Editor delle attività, qui non è possibile utilizzare i costruttori di query e risultati, utilizzare più scraper, non sono supportate le macro, non c'è lo scraping multi-livello e altre funzionalità supportate nell'editor delle attività.
La sezione è creata secondo il principio di un test modulare, in cui è possibile testare i singoli scraper. L'intero processo di lavoro viene visualizzato sotto forma di log, il che consente di ottenere informazioni dettagliate sul funzionamento dello scraper (preset), dall'invio della query fino alla ricezione dei risultati:
In "Scraping di prova" esiste un'area di impostazioni rapide: disattivazione dell'autoscroll e attivazione della modalità debug
Per impostazione predefinita l' "autoscroll" è attivo: ciò significa che man mano che le informazioni vengono visualizzate nel log, ci sposteremo automaticamente verso il basso
Quando l' "autoscroll" è disattivato l'icona cambia aspetto: ciò significa che man mano che le informazioni vengono visualizzate nel log, rimarremo sul posto, non ci sarà alcuno spostamento automatico verso il basso
Per impostazione predefinita, la modalità debug è disattivata: ciò significa che nel log verranno visualizzate informazioni generali sullo scraping.
Quando attiviamo la modalità debug, l'icona cambia aspetto e nel log verranno visualizzate informazioni dettagliate sullo scraping.
Nella finestra del log con la modalità debug attiva vediamo informazioni dettagliate sullo scraping:
Nella parte della query possiamo vedere:
- Nome della query
- Stringa della query inviata al server
- Elenco dei parametri inviati insieme alla query (header, codifica, filtri, ecc.)
Nella parte della risposta ricevuta dal server, vediamo le seguenti informazioni:
See in debug window - link alla finestra in cui viene visualizzata la pagina ottenuta come risultato della query
See full data - link alla finestra con il codice sorgente ottenuto come risultato della query
Go to Regex Builder - link al Costruttore di espressioni regolari con il codice sorgente ottenuto come risultato della query
Se la modalità "autoscroll" è creata più per comodità di visualizzazione, la modalità "debug" è uno strumento indispensabile per il debug dei propri scraper e preset. Analizzando le informazioni ottenute dal log in modalità "debug", possiamo vedere in quale fase e cosa accade durante l'esecuzione dell'attività, come viene formata la query e cosa riceve lo scraper in risposta.