任务调试
模板测试
任务测试
任务测试器允许完整测试整个预设,包括多个爬虫工具和构造器。通过显示每个线程的日志和查看结果,可以监控整个工作流程。所有数据均实时更新。

在任务测试器界面中可以查看以下信息:
- 已完成/全部查询
- 查询信息,已完成数量,总查询数量
- 最大线程数 - 5
- 最大查询数 - 10
- 当前查询
- 失败查询数量
- 选择查询限制
- 5 个线程中每个线程的日志,其中可以找到关于查询和错误的完整信息
- 数据抓取结果字段
- 如果使用多个结果文件 - 将显示每个文件的内容

测试抓取
在Parser Test (测试抓取)选项卡中,可以进行测试抓取以创建和调试自定义预设。 与任务编辑器不同,这里无法使用查询和结果构造器,不能使用多个爬虫工具,不支持宏、多级数据抓取以及任务编辑器中支持的其他功能。
该部分是根据单元测试原则创建的,可以在其中测试单个爬虫工具。整个工作过程以日志形式输出,这使得能够获取爬虫工具(预设)工作的详细信息,从发送查询到获取结果:

在“测试抓取”中存在快速设置区域:禁用自动滚动和启用 debug 模式
默认情况下“自动滚动”是开启的 - 这意味着随着日志信息的输出,我们将自动向下移动
当“自动滚动”关闭时,图标会改变形状 - 这意味着随着日志信息的输出,我们将保持在原位,不会自动向下移动
默认情况下,debug 模式是关闭的 - 这意味着日志中将输出数据抓取的常规信息。
当我们激活 debug 模式时,图标会改变形状,日志中将输出数据抓取的详细信息。
在开启 debug 模式的日志窗口中,我们可以看到数据抓取的详细信息:

在查询部分我们可以看到:
- 查询名称
- 发送到服务器的查询字符串
- 随查询一起发送的参数列表(请求头、编码、过滤器等)
在从服务器接收到的响应部分,我们可以看到以下信息:
See in debug window - 指向显示查询结果页面的窗口链接

See full data - 指向显示查询结果源代码窗口的链接

Go to Regex Builder - 指向带有查询结果源代码的正则表达式构造器的链接
如果说“自动滚动”模式更多是为了查看方便,那么“debug”模式则是调试自定义爬虫工具和预设不可或缺的工具。通过分析“debug”模式下从日志中获取的信息,我们可以看到在任务执行期间的哪个阶段发生了什么,查询是如何形成的,以及爬虫工具收到了什么响应。