跳转到主要内容

在单个任务中使用多个爬虫工具

功能与优势​

A-Parser 支持同时使用多个爬虫工具处理查询，从而实现：

  • 同时抓取多个搜索引擎的搜索结果
  • 根据多种参数分析域名
  • 同时从不同搜索引擎的建议词和 Yandex.Wordstat 收集关键词
  • 收集域名的 Whois 和 DNS 信息
  • 许多其他应用场景

添加爬虫工具​

要添加新的爬虫工具，只需在任务编辑器中点击Add Parser (添加爬虫工具)按钮：

任务编辑器中的添加爬虫工具按钮

每个爬虫工具都有编号，在结果构造器和结果格式化中，每个爬虫工具的结果可以通过缩写访问：

$p1, $p2... - 其中数字表示爬虫工具的编号。

在通用结果格式中，默认按顺序输出每个爬虫工具的结果，格式采用每个爬虫工具设置中指定的格式。

在单个任务中使用多个爬虫工具可以提高整体数据抓取速度，因为对单个爬虫工具的并发请求数减少，从而降低了代理被封禁或出现验证码的频率。

每个爬虫工具在配合查询构造器使用时，会抓取原始查询或其变体，并在设置中拥有自己的查询格式。但是，目前无法将前一个爬虫工具的结果作为查询传递给下一个爬虫工具（该功能已列入未来计划）。

域名分析示例​

域名分析示例

在此示例中，我们使用即将过期（将重新开放注册）的域名列表作为查询。我们希望筛选出参数良好的域名，为此我们使用了六个不同的爬虫工具：

在结果格式中，我们按所需的顺序输出原始查询（域名）和每个爬虫工具的结果：

$query, $p1.totalcount, $p2.globalRank, $p3.totalcount, $p4.trustrank, $p5.exists, $p6.bl\n
下载示例

如何将示例导入 A-Parser

eJy1Vd1v2zYQ/1cMIg/bYKhxuvZBb47X7ANZ7dnOU1wEjHSSWVMkS1J2PCP/++5I
yrLTFOiADXrR8b5+v7vj8cA8dxs3s+DAO5bfH5gJ/yxnY8Xl/m8Y/KIbLpQbXGWX
bMgMtw4smd6zxYc8/1XrWgIqZrwGN5joVvlB62Aws/ppz4YH5vcGMJzegrWiJFNR
ovylBbuvtG24x6Mtly1ZOeEhvwg69vxpeM/mXG3y/FqoOuDxonBoXkLFW+kZWfwP
KFYsQlixCKJPkedL2zo/WUOxOcHxbxOsvTf5mzenRE9zLHgF11bvHNL+b7PEco7X
Fir3XZHvvJAPy9Yqhz/wkKajzzFW2BJufLHmmOHTkKEBRnQ3EUyeKjkcXJhR5rXn
sqDmkHyV1VI/ckmYSH77Qv9z5qnWNqnfZfAknHf0/z57lKuVYsd0C76FpcZ0lQhz
0KFA6SNvCOhFyT2QNot1+uHHzD8RE16WwguN0xUx02z3PO6U+BKIKo22xEWAu7G6
wSMPIUAg2PG9T4RxNFkbfP+KPiyvuHQwZA6h3nAEUr7U4Oxb7rWdGsKD5wem1VjK
W9iC7M1C/OtWyBIv4rhCp9+T4+sm069iPB/pnabCzu8sYjhGCdL19M/eq9S3uu6K
IUUjPMouXDc8pf2wATDHmn0ks0ZbOKZJkVN23DsGFI1Z37Kx6Y/OaJy15fyw0KoS
9TSNbmfZqiUut6ma6MZIIF6qlRLb4mDej8fYpTaQ0AN86TwJKRDW8cowr7V0fywi
VGMFjt87AthgJU+zppAFl/JufnuqIUfntZmqD9a+aF8YDMblVjjdZIVuVoo3Da9l
/C/WAmsT/7EQvNzFf5Ca21KrJDnP7b7mUfrcqoIWaJSkrrGBLukaTphsFJCLg1Ik
lRO1Es6kZG6jpeEqSbu1qCVXZZT2equtXycojDh7qDXeBuwI7p/u9Ti+N4fT7Y3S
6+sbFacLrtsp3WuktK/QA2dmROWfxG00Rzahhm+HrJapSRi+SMM6Ck3D8GGXAxaf
/YRHazIFwl6Gdw+l3W6X1QEi8aLGiwZ0i0HeXw7jgpx3Wa8eju9nPyjIxEQiCFBV
BnOhIy4PyyOROAhgDUWOktRYO7wzUcII+Ll4h0aETfkl38AiHoZ4uNs80RjRzVQb
ZzAe8iWql3HN/QY83pkuXTe6iM125YrWFhCZ8yVIvg/RS9iKAgItt8GR7fweuVJQ
FhK4ag1VhJCEPsWbeuxWPrjo13u3u1PVZty51Gp0l9QL9ozr5rXHPz+g4hsP8le6
s4c0aM8eQDzBo89uFseSNkBKgKskFnb0/A8Hayy4

⏩ 多个爬虫工具组合预设的视频示例​

本视频教程介绍了如何创建一个预设，通过 Google 搜索结果中的关键词抓取主题域名，并获取域名的各种参数。

本教程涵盖：

  • 抓取 Google 搜索结果
  • 输出唯一结果作为主域名
  • 获取以下参数：
    • 域名是否已注册
    • 域名注册日期和到期日期
    • 网站语言
    • title 和 description
    • 网站质量指数 (SQI)
    • Alexa 全球排名
    • Alexa 流量占比最高的国家
    • 该域名在 Alexa 国家排名中的位置