Rank::Ahrefs::KeywordDifficulty - Ahrefs Keyword Difficulty Checker 爬虫工具

爬虫工具概览
Rank::Ahrefs::KeywordDifficulty – 该爬虫工具用于获取“关键词难度”数值。此外,它还能获取该查询的搜索结果数据(仅限搜索结果前 10 名的第一页)。关键词难度是一个指标,有助于了解在特定搜索查询中进行排名的难度。
数据采集自页面 https://ahrefs.com/keyword-difficulty。
运行需要连接
Util::Turnstile 验证码识别服务。
采集的数据
- 关键词难度
- 为了进入搜索关键词前 10 名(TOP10)而需要从其他网站获取的反向链接估算数量 (shortage)
- 搜索结果概览(仅限前 10 名的第一页)
- 搜索结果链接(TOP - 10)
- 锚点(TOP - 10)
- AR(仅限 TOP - 3)
- DR(仅限 TOP - 3)
- UR(仅限 TOP - 3)
- 反向链接 - 指向该搜索结果的其他网站反向链接数量(仅限 TOP - 3)
- 域名 - 引用该搜索结果的唯一域名总数(仅限 TOP - 3)
- 流量 - 该搜索结果获得的预估每月有机流量(仅限 TOP - 3)
- 关键词 - 该搜索结果排名前 100 位的关键词数量(仅限 TOP - 3)

功能
- 自动使用代理
- 选择用于确定关键词难度的国家/地区
应用场景
- 获取关于查询的 TOP-10 搜索结果汇总信息
- 评估关键词/查询的难度
查询
应将关键词作为查询指定,例如:
essay writing
buy notebook
购买机票
圣彼得堡轮胎店
如果查询是俄语或任何其他语言,请在爬虫工具设置中选择相应的国家/地区。因为默认设置的 United States 可能没有结果。
结果输出示例
A-Parser 凭借内置的 Template Toolkit 模板引擎支持灵活的结果格式化,这使其能够以任意形式以及结构化形式(如 CSV 或 JSON)输出结果。
将“查询难度”输出到结果中
结果格式:
$query: $difficulty\n
默认结果将显示查询和关键词难度值:
essay writing: 84
buy notebook: 80
圣彼得堡轮胎店: 55
购买机票: 90
将关键词 TOP-10 搜索结果的额外参数输出到 CSV 表格
anchor、ar、dr、ur、bl、domains、traffic、keywords 的值仅适用于 TOP-3。
内置工具 $tools.CSVLine 允许创建正确的表格文档,以便导入 Excel 或 Google 表格。
结果格式:
[% FOREACH item IN serp;
tools.CSVline(query, difficulty, item.link, item.anchor, item.ar, item.dr, item.ur, item.bl, item.domains, item.traffic, item.keywords);
END %]
文件名:
$datefile.format().csv
起始文本:
查询,难度,链接,锚点,AR,DR,UR,BL,域名,流量,关键词
结果示例:
查询,难度,链接,锚点,AR,DR,UR,BL,域名,流量,关键词
"buy notebook",80,https://www.bestbuy.com/site/laptop-computers/all-laptops/pcmcat138500050001.c?id=pcmcat138500050001,"Laptops and Notebooks: PC Laptop, Notebook - Best Buy",2120,88,34,219,80,139112,2248
"buy notebook",80,https://www.bestbuy.com/site/computers-pcs/laptop-computers/abcat0502000.c?id=abcat0502000,"Laptops & Notebook Computers - Best Buy",2120,88,49,2306,474,37222,3148
"buy notebook",80,https://www.bestbuy.com/site/searchpage.jsp?_dyncharset=UTF-8&browsedCategory=pcmcat138500050001&cp=2&id=pcat17071&iht=n&ks=960&list=y&sc=Global&st=categoryid%24pcmcat138500050001&type=page&usc=All%20Categories,"Laptops and Notebooks: PC Laptop, Notebook - Best Buy",2120,88,14,2,1,243,179
"buy notebook",80,https://www.amazon.com/Notebooks-Laptop-Computers/b?ie=UTF8&node=565108,"Laptops | Amazon.com",,,,,,,
"buy notebook",80,https://www.walmart.com/cp/laptops/1089430,"Laptops - Walmart.com",,,,,,,
"essay writing ",84,https://owl.purdue.edu/owl/general_writing/academic_writing/essay_writing/index.html,"Essay Writing // Purdue Writing Lab - Purdue OWL",1256,90,45,731,316,2702,864
"essay writing ",84,https://grademiners.com/,"Essay Writer & Essay Writing Service | GradeMiners.com",7081,82,87,390507,21505,7328,2836
"essay writing ",84,https://www.scribbr.com/category/academic-essay/,"The Beginner's Guide to Writing an Essay | Steps & Examples",144207,66,40,966,249,12199,3281
"essay writing ",84,https://www.internationalstudent.com/essay_writing/essay_tips/,"General Essay Writing Tips - Essay Writing Center",,,,,,,
"essay writing ",84,https://writingcenter.fas.harvard.edu/pages/essay-structure,"Essay Structure | – Harvard Writing Center",,,,,,,
...
"购买机票",90,https://www.tutu.ru/,"Tutu.ru: 飞机、火车、巴士票及在线旅游 ...",39974,74,80,459414,2349,1052237,7272
"购买机票",90,https://www.rzd.ru/,"乘客",11185,80,84,5118775,7165,4163730,32342
"购买机票",90,https://pass.rzd.ru/,"乘客",11185,80,75,475270,1426,249503,9533
"购买机票",90,https://www.aviasales.ru/,"在线廉价机票,价格。搜索机票于 ...",,,,,,,
"购买机票",90,https://www.kupibilet.ru/,"在线廉价机票,搜索飞机票 ...",,,,,,,
"圣彼得堡轮胎店",55,https://www.spbkoleso.ru/,"在网上商店购买轮毂、轮圈和轮胎 ...",4527548,28,42,1489,285,2240,855
"圣彼得堡轮胎店",55,https://spb.kolesa-darom.ru/,"«Kolesa Darom» — 轮胎、轮圈网上商店 ...",370176,55,27,136,44,1740,146
"圣彼得堡轮胎店",55,https://www.koleso-russia.ru/,"KOLESO - 汽车轮胎和轮圈 | 汽车轮胎 | 汽车橡胶 ...",992706,44,40,1295,222,14428,1319
"圣彼得堡轮胎店",55,https://kolesa812.ru/,"圣彼得堡的轮胎和轮圈 | 在网上购买 ...",,,,,,,
"圣彼得堡轮胎店",55,https://ship-ship.ru/,"轮胎和轮圈网上商店 - 廉价购买 ...",,,,,,,
...
下载示例
eJyFVNtOGzEQ/ZWVBRJI24gAVdH2KYREpaUJDdCXEEVmPQtuvLaxvYEoyr937L0l
0MuLd25n5sx4vGviqF3YawMWnCXJdE10kElCBq801wLmvScDmf0GqwueZTwthFuR
mGhqLBgPmZIJlYskKeOSBCNflGE70QwyiiKJ18StNGB2tQRjOAN0cob6neNiPoE+
1S59osfzikZMllQUHjCBlGp0fTD0QeF3Rcnm7+lSVUhnVlt4U/wrPlMmpw5rBpYN
aLofDceTQa//JeIO8uhyFOluBxvXn+9lFEVOKWE7/Zufgks4eC7ArOKINZ3HAdVB
56ISqUyflKmVWmC1UNTCg6hdKqdc2kpzhvrclbYoJ20PkcxgdBHtz8hmNotJ2YYd
hp6wiz3k3Myzct7QJdwq3zkX0JqHqI1o7nvfY9SB93bK4Rwcdtyrz0AZ444rSUVZ
wS9BW/VO8ucwO6kw1o+Egx0alaPJQUgQ5lSzm5K9oBNMUQTsjxJDkowKCzGxSHVI
kQh768EpGOqUGWvPB+1romRPiCtYgmjDQv7zgguGG9vLEHRZAf8cMn6XY9O0t10K
d+jFIIcmS9DOx99bFFNX6rEehuA5d6jbvt9OtB6hcQGgm5mNfFiuDDRlqsxVdXyo
GqRf2PbKero17bSxcy27xlTJjD+Oq0dQRxbyFv8GY9lX/uH7vmQhBF6LhUm7Hj1b
XYNXWoJvwf1QAmk1b5+E1/L1pqSqDcf1++gJ5jjJ7apVypQKcTe52vaQdqVQuS+O
Tk/ScB6F82RL/hTOs3CyyH9Oz96ZjrtBycLZJb6mg0eF24gT2cya31zzg1z/92eX
rDd477/sdYn0Q/I4tOG0LV4qSbqb30r05Ys=
在 结果格式 中应用了 Template Toolkit 模板引擎,用于在 FOREACH 循环中输出 $serp 数组元素。
在结果文件名中,只需将文件扩展名更改为 csv。
为了使“Prepend text”选项在任务编辑器中可用,需要激活“More options”。 在“Prepend text”中,用逗号分隔记录列名,并将第二行留空。
将结果转储为 JSON
通用结果格式:
[% IF notFirst;
",\n";
ELSE;
notFirst = 1;
END;
obj = {};
obj.query = query;
obj.links = [];
FOREACH item IN p1.serp;
obj.links.push(item.link);
END;
obj.json %]
起始文本:
[
结束文本:
]
结果示例:
[{"query":"商店","links":["https://www.dns-shop.ru/","https://www.ozon.ru/","https://ru.wikipedia.org/wiki/%D0%9C%D0%B0%D0%B3%D0%B0%D0%B7%D0%B8%D0%BD","https://www.lamoda.ru/","https://www.eldorado.ru/","https://www.mvideo.ru/","https://www.wildberries.ru/","https://www.citilink.ru/","https://www.bonprix.ru/","https://www.housebrand.com/ru/ru/"]}]
为了使“Prepend text”和“Append text”选项在任务编辑器中可用,需要激活“More options”。
结果处理
A-Parser 允许在数据抓取过程中直接处理结果,在本节中,我们列出了 Rank::Ahrefs::KeywordDifficulty 爬虫工具最受欢迎的使用案例
链接去重
添加去重并在下拉列表中选择 $serp.$i.link - Link。
下载示例
eJyFVG1v0zAQ/i+nSmNSqToGAuVbVygCyjq69lNbVV5y6Uwd29hOtyjKf+ec9w4Q
Xxzf+Z7nnvOdk4Nj9mjvDFp0FoJNDrrcQwCfnlmiBe4njwZj+w2zjzyOeZgKl+3X
kv9KEYagmbFoPHIDSyaPQVCFBwEBnpSJOhBFRxgz2sIwB5dppCTqhMbwyFPxiOy1
42K/xCnTLnxkb/a1miGcmEg9YIkh03T02rAHRd+MQfFvulCl0pmshzdpPz5t6qA0
XliwASpHk0NweYTdsI5YVeHWGS4P0Hg/C/XABATOpFjsdg2LnSmTMH+FA3018nyj
uPS8uhh42u1WXly2Oe09O+FKUXTMRSfFzsi6ZYlPO4iYQ3/a8FyO3LO/FBZF3HEl
mahS+j50MuomBSAVxdLWcLQzoxJyOSwJvDNr5G5gUNpd2T8qDAQxExaHYEnqjJGQ
6OUJd2iYU2ahvR7y56DkRIg5nlB0YSX/TcpFREMziQn0pQb+PWTxB0fRltdPRW1/
MqShZSmtm8X3DhWpuTo0lyF4wh3ZduoHhLxjch4RdXtntz4sUQbbNDVznZ2ejEbp
Z6xr2UR3rrMyztpy7gyVjPlhUc9tE5nKFb3LhZwq/wR9XTIVgtpicdmNx8TWbfBG
J/AleFqmIFnt8wOnlLBf7yup2nAav3deYEI32c9aU4ZMiPVy3j+BbqTI2Kbjt9dh
uY7L9bq3f1+uH8o1As/m8KBozqjWYtf+Q9qfUP7fP0mQF9TRn/auQvryPY58dI+W
2gXBVfEbj260Iw==
另请参阅:结果去重
按域名进行链接去重
添加去重并在下拉列表中选择 $serp.$i.link - Link。选择去重类型:Domain。
下载示例
eJyFVFtv0zAU/i9WpTGpVB0DgfLWdRQBY9269qmtKi8+6Uwd29hOtyjKf+fYuXaA
eHF8Lt93rk5BHLUHe2fAgrMkWhdEhzuJyOcXmmoBu8mTgcR+h/yaJwmPM+Hy3Ury
XxnsrlVKuSRDoqmxYDzBmiyoPERRhYoixD0rwzosejNIKF7JsCAu14Cx1BGM4QzQ
yBnKK8fFbgFTql38RN/t6qSG5EhF5gELiKlG01tDHxV+c0rKf9PFKpPO5D28yfr+
WSgHzRjGJxatCZajUSG4PJDtsPZYVu6sKbvSfhHqkQoSOZNBud02LHamTEp9Jwf6
YuT5RknQvDkbeNrNRp6dtzHtAz3CUqF3wkWXip2hdEtTH3bAqANvbXjOR+7FN4Uy
xh1XkooqpJ9Dl0Y1K8RLhb54NRzszKgUVQ4CgVfmTbprMghyV/Z9hSFRQoWFIbGY
6oxiIuy1hTsw1Ckz1z4f1BdEyYkQN3AE0bkF/quMC4ZLM0kQ9LUG/t1l/gdH2ZbX
D4VjfzaYQ8sSpKv5jw7F1I3aN80QPOUOZTv1C4LaMSoPALrt2a13S5WBNkzNXEfH
l6NB+h3rRjbRneqkjJOxnCpjJRO+n9d723hmconPcy6nyr9EX5fMhMCxWFh06zGx
9Ri80CX4GjwNIfz6Ns+POKWE/fZQpaoNx/X74BNMsZP9qDVlTIVYLW76FtKtFAqb
bPz+Mg7nOJyXvfvHcH4KJyOezcFe4Z5hreW2/Ye0/6Liv3+SqChxoj/tXYX05Xsc
6rCPFsdFoovyN1c+trs=
另请参阅:结果去重
提取域名
添加Result Builders (结果构造器)并在下拉列表中选择源:$p1.serp.$i.link - Link。选择类型:Extract Domain。
下载示例
eJyFVG1v2jAQ/i8npK4SQ3TdtCnfKB3Stq60tHyCCt2SC/VwbM92aKOI/76zCQnt
Nu2L43t5nnt1avDoNu7GkiPvIFnUYOIdEvj8jIWRtBo9WsrdN6ouRZ6LtJS+Ws2V
+FXS6lIXKBT0waB1ZAPBAmaoNkmyRyUJ4560zTose2eUI1+hX4OvDHEsvSVrRUZs
FBnLcy/kakZjND59xHerJqk+bFGWATCjFA2b3lr8oflbIez+TZfqUnlbHeFtCbuH
hz4wL2fiJtoWGIrumbMBV2IGedS8OelJoTbLpTo5hdb7Drd0r9k7F5I69YSlaywC
fS9DT8F64Dkd+OeQP2aZ8EIrlPuQoWVdGvu2Ml5p9uWrFeQmVhes8hQJgrI6pLuA
XpSBKcqIvd1jIMlROuqD41QnyIlkry3Ck0Wv7dSEfFhfg1YjKa9oS7Jzi/wXpZAZ
z3eUM+hLA/y7y/QPjl1b3nEontCT5RxalihdTL93qExf6fWhGVIUwrPsxmGWrB2y
ckNk2p5dB7dCW2rDNMxNdF5yQyqsQzeykelUL8p4MZYjZQ1OlzbleIthfwFhVWJy
agNhnZr941FZTH37PNBarFjfuPuwOxGzY0yqVS7W02ZlD5FLdc8vc6rGOjzC0CdV
SsljdjTr1m3kmrEGoSv4NXgcQ3DQ9uVxDlq6r3f70o0VnNKHUHDBkzmO2lCmKOV8
dnVsgW5FWViWw/fnaTyH8Tw/un+M56d4ZhDYPK017y3XGlrQ/D7a31D9359IUu94
Q366mz0ylB9wrOM+Oh4/JGe736N7s6Y=
另请参阅:结果构造器
为锚点删除标签并解码实体
添加Result Builders (结果构造器)并在下拉列表中选择源:$p1.serp.$i.anchor - Anchor。选择类型:Remove HTML tags。
再次添加Result Builders (结果构造器)并在下拉列表中选择源:$p1.serp.$i.anchor - Anchor。选择类型:Decode HTML entities。
下载示例
eJyNVG1P2zAQ/i+nSgwpQ2Vs2pRvpazaC6OswKeCKi+5gIdje7ZTiKL+9925blPY
pvHFsc/3PPfi59JBEP7enzv0GDzk8w5s3EMOHx9FbRUuRncOK/8V2xNZVbJoVGgX
M6zNEhcnWJgSIQMrnEfHBHOYCX2f52tUnhPuwbiyx5J3iZWgLWQdhNYixSIy52Sk
kiWdr4JUFGQsbCjuxJtFSiqDpVANA2ZYCEtXr534YejbClj9m64wjQ6u3cG7BlY3
NxkQL2XiJ8bVgose2MMDqsQeVNHyam8gdHFn3PW13tuHrf+FWOKlIf9KKuzNEzqd
iZoDDEoRkG83TPsH4ZErEGUpgzRaqHVQblqfyJWWv2KC2pAvbZ1EP3GmJlPASMDG
dpPwHAbxDETRROz3NQbySiiPGXhKdSIokfL5jQzoRDBuajkfsndg9EipU1yi6t0i
/3EjVUkvPKoI9DkB/+4y/YNjtS1vNxS90YOjHLYs8XQ8/dajSnNqbjfNULKWgc5+
zK9J1iEZ7xHttmdn7FYbh9swiTlFJ5lb1CyI/slGtjc9KePJs+wYO/CmcQXFmw+z
ObBY+FWjSoAllTTo4oh8CrXia+dES8bkHVg6CcKyfRljGaftBYwEKYyu5O00zcGm
mEZf0rhP9djwZHPrdaMUKcfjrFfwyCel8KHv4XPwOIaIeaVxpiyM8l8u1t20TlJS
77LUid2oibIQSl3NTndvoFc9Ha6b4dujIq7DuB7t7N/H9UNcS2C2gLeGRoFq5Rak
f9L239b998+UdysS3U9/vkZy+YwjG/XRk6IgP1z9BrMuz2Q=
您可以根据需要多次添加结果构造器。
另请参阅:结果构造器
按包含内容过滤链接
添加过滤器并在下拉列表中选择:$serp.$i.link - Link。选择类型:Contain string。接着需要在String (字符串)中填写过滤特征。
下载示例
eJyFVMFu2zAM/ZVACNAVyIJ1wC6+pdkCbMuaLk1OaRCoNp1qkSVNktMahv+9pOzY
TtthJ4sU+fhIPrlknruDu7XgwDsWbUpmwplF7Nszz4yE3eTRQup+QvFVpKmIc+mL
3UxID1ao/eChGDgfTkINpFAHNmKGWweW4DZsydUhimqMKEKUJ22TDgmjE0g5Htmo
ZL4wgJX1EawVCeClSNBeeyF3S5hy4+NH/nnXUByxI5c5JSwh5gavPlr+oPFbcFb9
Gy7WufK26OXbvB+fhubwGssQsWjDsB2DjtDfdtRErOrwWCvPherBjWOdoamNF1qh
7UA5Vm23J0Q30zbjNOOhuRoT9jgNng8XQypxf68uLtv67o4fYaVrYtC5cQdwwzMq
OEy4B7o94VyO/TMNiCeJIBJc1iVpJx2NtRJ/A2GlMRaPVoCbWSQfMQ8BgJzFie6G
DYNNI8hD7u86h0Uplw5GzCHVGUciyesbgQPjXttFGAr6S6bVRMo5HEF2YQH/Ohcy
QQFNUkz63iS+H7J4g1G17fVLoQSeLHJoUYJ1vfjVZSV6rvenYUiRCY+2m5JY0PsJ
nQcA087shsIybaEt0yA31fFNGVCkt25lE9O5zto4W8u5E+WViv2i0fApMlcrfLgL
NdX0RqkvlUuJa3Gw7OQxcc0ayOgIvk6ehhJIq32KzGst3Y+7mqqxAuX3hQhmOMl+
1QYy5lKul/P+DeskFeTkCDZGne41Kgi7qLbtn6L9/5T//V9EZYW7+uNu60xqjPLQ
hxNy4b1dVS8vyrR/
另请参阅:结果过滤器
可能的设置
| 参数 | 默认值 | 说明 |
|---|---|---|
| Util::Turnstile preset | default | 选择用于绕过验证码的 Util::Turnstile 预设。需要预先配置 Util::Turnstile 爬虫工具 - 指定您的访问密钥和其他参数,然后在此处选择创建的预设。 |
| Turnstile pass proxy | ☐ | 将代理传递给识别服务。详情。 |
| Country | United states | 选择搜索国家/地区 |
| Do not search for sitekey | ☑ | 实验性选项,禁用 sitekey 验证码搜索,从而加快任务启动速度。如果出现 sitekey 无效等问题,应禁用此选项。 |
| Additional headers | 可以指定自定义请求头 |