Débogage des tâches
Test des gabarits
En savoir plus sur le Test des gabarits
Test de tâche
Le testeur de tâches permet de tester l'intégralité d'une présélection, y compris plusieurs scrapers et les Constructeurs. Tout le processus de travail peut être contrôlé grâce à l'affichage des logs pour chaque thread et à la visualisation des résultats. Toutes les données sont mises à jour en temps réel.
Les informations suivantes sont disponibles dans l'interface du testeur de tâches :
- Requêtes terminées/total
- Informations sur les requêtes, nombre de requêtes terminées, nombre total de requêtes
- Nombre maximum de threads - 5
- Nombre maximum de requêtes - 10
- Requête actuelle
- Nombre de requêtes échouées
- Choix de la limite de requêtes
- Log de chacun des 5 threads, où vous pouvez trouver des informations complètes sur les requêtes et les erreurs
- Champ du résultat de la collecte de données
- Si plusieurs fichiers de résultats sont utilisés, le contenu de chaque fichier est affiché
Collecte de données de test
Sur l'onglet Parser Test (Test de collecte), il est possible d'effectuer une collecte de données de test pour créer et déboguer vos propres présélections. Contrairement à l'Éditeur de tâches, il n'est pas possible d'utiliser ici les constructeurs de requêtes et de résultats, d'utiliser plusieurs scrapers, les macros ne sont pas supportées, et il n'y a pas de collecte multiniveau ni d'autres fonctionnalités supportées dans l'éditeur de tâches.
Cette section est conçue selon le principe d'un test modulaire, où vous pouvez tester des scrapers individuels. L'ensemble du processus s'affiche sous forme de log, ce qui permet d'obtenir des informations détaillées sur le fonctionnement du scraper (présélection), de l'envoi de la requête jusqu'à la réception des résultats :
Dans la "Collecte de données de test", il existe une zone de réglages rapides : désactivation de l'autoscroll et activation du mode debug
Par défaut, l'"autoscroll" est activé - cela signifie qu'au fur et à mesure que les informations s'affichent dans le log, nous descendrons automatiquement vers le bas
Lorsque l'"autoscroll" est désactivé, l'icône change d'aspect - cela signifie qu'au fur et à mesure que les informations s'affichent dans le log, nous resterons sur place, il n'y aura pas de déplacement automatique vers le bas
Par défaut, le mode debug est désactivé - cela signifie que des informations générales sur la collecte de données seront affichées dans le log.
Lorsque nous activons le mode debug, l'icône change d'aspect et des informations détaillées sur la collecte de données seront affichées dans le log.
Dans la fenêtre du log avec le mode debug activé, nous voyons des informations détaillées sur la collecte de données :
Dans la partie requête, nous pouvons voir :
- Le nom de la requête
- La chaîne de requête envoyée au serveur
- La liste des paramètres envoyés avec la requête (en-têtes, encodage, filtres, etc.)
Dans la partie réponse reçue du serveur, nous voyons les informations suivantes :
See in debug window - lien vers une fenêtre où s'affiche la page obtenue suite à la requête
See full data - lien vers une fenêtre avec le code source obtenu suite à la requête
Go to Regex Builder - lien vers le Constructeur d'expressions régulières avec le code source obtenu suite à la requête
Si le mode « autoscroll » est conçu davantage pour le confort de visualisation, le mode « debug » est un outil indispensable pour le débogage de vos propres scrapers et présélections. En analysant les informations obtenues du log en mode « debug », nous pouvons voir à quelle étape et ce qui se passe pendant l'exécution de la tâche, comment la requête est formée et ce que le scraper reçoit en réponse.