跳转到主要内容

Rank::Ahrefs::TrafficChecker - Ahrefs Website Traffic Checker 爬虫工具

img

爬虫工具概览

Rank::Ahrefs::TrafficCheckerRank::Ahrefs::TrafficChecker – 该爬虫工具可获取域名的流量数据、流量价值、过去半年的流量历史记录,以及流量最大的前 5 个关键词、前 5 个页面和前 5 个国家。

数据采集自页面 https://ahrefs.com/traffic-checker

运行需要连接 Util::TurnstileUtil::Turnstile 验证码识别服务。

采集的数据

  • 流量数值及其价值
  • 最近 6 个月的流量历史记录
  • 流量最大的前 5 个关键词
  • 流量最大的前 5 个页面
  • 流量最大的前 5 个国家

Rank::Ahrefs::TrafficChecker 爬虫工具采集哪些数据

功能

  • 自动配合代理工作
  • 支持选择查询类型

应用场景

  • 评估网站流量和/或其动态变化
  • 确定承载最多流量的页面
  • 确定流量来源最多的国家

查询

查询时需要指定域名,例如:

yep.com
a-parser.com

结果输出示例

A-Parser 凭借内置的 Template Toolkit 模板引擎支持灵活的结果格式化,这使其能够以任意形式输出结果,包括 CSV 或 JSON 等结构化格式。

输出流量数值及其价值

结果格式:

$query: $traffic, $cost\n

结果示例:

a-parser.com: 3134, 98.23
yep.com: 573, 355.11

将前 5 个国家及其流量占比输出到 CSV 表格

内置工具 $tools.CSVLine 可以创建正确的表格文档,方便导入 Excel 或 Google 表格。

结果格式:

[% FOREACH item IN countries;
tools.CSVline(query, item.country, item.share);
END %]

文件名:

$datefile.format().csv

起始文本:

Domain,Country,Share

结果示例:

Domain,Country,Share
a-parser.com,ru,53.1991497505531
a-parser.com,ua,31.2919846320361
a-parser.com,by,6.85420472892478
a-parser.com,us,2.47882258679986
a-parser.com,in,0.973089501699025
yep.com,us,85.3846476280789
yep.com,pk,3.9699361902533
yep.com,ph,2.72343071837447
yep.com,co,2.6309633617564
yep.com,kz,1.83450731299592

下载示例

如何将示例导入 A-Parser

eJx9VNtu2zAM/RVDaIEW8IJ1wF68J9dtsA5Z3OWylyQoCJtOtMiSKsnZAiP/Pspx
7KQd9mZejnjIQ7pmDuzWPhu06CyLFjXTzTeLWI4FVMKxkGkwFo0PL9gE5DaK4o3B
wkbRzEBR8CzZYLZFQ6kdqGZur5GeUTs0hudIQZ6TPXdcvEwwAe2yDXx6aeuFbAei
wrO6h9UqZBSkbztUpgRPanEdDNPJY5x8DbjDMngaB/pukKlKOsPRflnKIAicUsIO
kulPwSXevFZo9mGT3iaeLLsBg7eEeRw/BNcr1pWbwg5nisoVXGDvHpI1htKTvMrB
oY8Oiobaze0gsztKhTznjisJ4sjZT63vYy75a9OkVJTrmRHpoVEluRz+ca1zf+p3
wa4am9ETVYP9ccSwqABhMWSWqA6BiORvI9SiAadMqj0f8tdMyViIEe5Q9GnN+/cV
FzlJHBcEemqB/05J371x6No7L0Wy/zbEoXulse7T7z0qVyO1Pg1D8JI7sm3iNSLv
R3JuEXU3s7FPK5XBrowzFXbFaYk1Sr9iD6oELsOkFXvqZV7KXsdYt4nsTW8XWl06
MyULvk7bZT5lVnJG95PKRJVaoG9WVkKQVhYn/c7EttXGG9083oGTpsTF5TWb/G16
pKoNp5387AmWNN7zqu2TGQgxn4zOI6zfMzL2qOkGyqWED8ej9hbzQIdrRXtGbR1W
3cV3/4X6/3cf1QeS85d9PsJ8mx5EPpqXJa1YdHf4C0nBj14=
提示

结果格式 中使用了 Template Toolkit 模板引擎 通过 FOREACH 循环输出 $countries 数组。

在结果文件名中,只需将文件扩展名更改为 csv。

要在任务编辑器中使“Prepend text”选项可用,需要激活“More options”。 在“Prepend text”中按逗号分隔填写列名,并将第二行留空。

可能的设置

参数默认值描述
Util::Turnstile presetdefault选择用于绕过验证码的 Util::TurnstileUtil::Turnstile 预设。需要预先配置 Util::TurnstileUtil::Turnstile 爬虫工具 - 指定您的访问密钥和其他参数,然后在此处选择创建的预设。
Turnstile pass proxy将代理传递给验证码识别服务。详情
ModeSubdomains选择查询类型
Do not search for sitekey实验性选项,禁用验证码 sitekey 搜索,从而加快任务启动速度。如果出现 sitekey 无效等问题,应禁用此选项。
Additional headers可以指定自定义请求头