Pular para o conteúdo principal

Depuração de tarefas

Teste de modelos​

Saiba mais sobre o Teste de modelos

Teste de tarefa​

O testador de tarefas permite testar todo o preset completamente, incluindo vários scrapers e Construtores. Todo o processo de trabalho pode ser controlado graças à exibição de logs para cada thread e à visualização dos resultados. Todos os dados são atualizados em tempo real.

Teste de tarefa no Editor de tarefas

As seguintes informações estão disponíveis na interface do testador de tarefas:

  • Consultas concluídas/total
    • Informações sobre as consultas, número de concluídas, número total de consultas
    • Número máximo de threads - 5
    • Número máximo de consultas - 10
  • Consulta atual
  • Número de consultas com falha
  • Seleção do limite de consultas
  • Log de cada uma das 5 threads, onde você pode encontrar informações completas sobre consultas e erros
  • Campo de resultado da extração de dados
    • Se vários arquivos de resultados forem usados, o conteúdo de cada arquivo será exibido
Testador de tarefa

Extração de dados de teste​

Na aba Parser Test (Extração de dados de teste), há a possibilidade de realizar uma extração de teste para criar e depurar o funcionamento de seus próprios presets. Diferente do Editor de tarefas, aqui não há possibilidade de usar construtores de consultas e resultados, usar vários scrapers, macros não são suportadas, não há extração de dados multinível e outros recursos que são suportados no editor de tarefas.

A seção foi criada com base no princípio de teste modular, no qual você pode testar scrapers individuais. Todo o processo de trabalho é exibido na forma de um log, o que permite obter informações detalhadas sobre o funcionamento do scraper (preset), desde o envio da consulta até o recebimento dos resultados:

Resultados do trabalho da extração de dados de teste

Na "Extração de dados de teste" existe uma área de configurações rápidas: desativar a rolagem automática e ativar o modo debug

Por padrão, a "rolagem automática" está ativada - isso significa que, conforme as informações são exibidas no log, nos moveremos automaticamente para baixo


Quando a "rolagem automática" está desativada, o ícone muda sua aparência - isso significa que, conforme as informações são exibidas no log, permaneceremos no lugar, não haverá movimento automático para baixo


Por padrão, o modo debug está desativado - isso significa que informações gerais sobre a extração de dados serão exibidas no log.


Quando ativamos o modo debug, o ícone muda sua aparência e informações detalhadas sobre a extração de dados serão exibidas no log.

Na janela de log com o modo debug ativado, vemos informações detalhadas sobre a extração de dados:

Extração de dados de teste no modo debug

Na parte da consulta, podemos ver:

  • Nome da consulta
  • A string de consulta que é enviada ao servidor
  • Lista de parâmetros que são enviados junto com a consulta (cabeçalhos, codificação, filtros, etc.)

Na parte da resposta que recebemos do servidor, vemos as seguintes informações:

  • See in debug window - link para a janela onde a página obtida como resultado da consulta é exibida

    See in debug window

  • See full data - link para a janela com o código-fonte obtido como resultado da consulta

    See full data

  • Go to Regex Builder - link para o Construtor de Expressões Regulares com o código-fonte obtido como resultado da consulta

Se o modo de "rolagem automática" foi criado mais para conveniência de visualização, o modo "debug" é uma ferramenta indispensável para depurar seus próprios scrapers e presets. Analisando as informações obtidas no log no modo "debug", podemos ver em que etapa e o que acontece durante a execução da tarefa, como a consulta é formada e o que o scraper recebe em resposta.