概览与应用
A-Parser 中所有现有内置爬虫工具的按主题分类列表，包含说明及对应页面链接。
搜索引擎爬虫工具
| 爬虫工具名称 | 描述 |
|---|---|
 SE::Google | 抓取 Google 搜索结果的所有数据：链接、锚文本、摘要、相关关键词、广告位抓取。支持多线程，绕过 ReCaptcha |
 SE::Yandex | 抓取 Yandex 搜索结果的所有数据：链接、锚文本、摘要、相关关键词、广告位抓取。最大抓取深度 |
 SE::AOL | 抓取 AOL 搜索结果的所有数据：链接、锚文本、摘要 |
 SE::Bing | 抓取 Bing 搜索结果的所有数据：链接、锚文本、摘要、相关关键词。最大抓取深度 |
 SE::Baidu | 抓取百度搜索结果的所有数据：链接、锚文本、摘要、相关关键词 |
| SE::Baidu | 抓取百度搜索结果的所有数据：链接、锚文本、摘要、相关关键词 |
 SE::Dogpile | 抓取 Dogpile 搜索结果的所有数据：链接、锚文本、摘要、相关关键词 |
 SE::DuckDuckGo | 抓取 DuckDuckGo 搜索结果的所有数据：链接、锚文本、摘要 |
 SE::Seznam | 捷克搜索引擎 seznam.cz 爬虫工具：链接、锚文本、摘要、相关关键词 |
 SE::Yahoo | 抓取 Yahoo 搜索结果的所有数据：链接、锚文本、摘要、相关关键词。最大抓取深度 |
 SE::Youtube | 抓取 Youtube 搜索结果数据：链接、标题、描述、用户名、预览图链接、观看次数、视频时长 |
 SE::Ask | 通过 Ask.com 抓取 Google 美国搜索结果：链接、锚文本、摘要、相关关键词 |
 SE::Rambler | 抓取 Rambler 搜索结果的所有数据：链接、锚文本、摘要 |
 SE::Startpage | 抓取 Startpage 搜索结果的所有数据：链接、锚文本、摘要 |
示例
🔗 Google 和 Yandex 页面收录查询
Google 和 Yandex 页面收录查询
🔗 视频：根据 Google 关键词抓取主题域名
视频：根据 Google 关键词抓取主题域名
🔗 Google 搜索结果中的问答数据抓取
Google 搜索结果中的问答数据抓取
🔗 根据 Google 关键词抓取主题域名并获取各项域名参数
根据 Google 关键词抓取主题域名并获取各项域名参数
🔗 抓取 Google 新闻日期并进行格式转换
抓取 Google 新闻日期并进行格式转换
🔗 仅从 Google 抓取搜索摘要 (Snippets)
仅从 Google 抓取搜索摘要 (Snippets)
🔗 Google 拼写检查
Google 拼写检查
🔗 将 Google 链接和锚文本抓取到 CSV
将 Google 链接和锚文本抓取到 CSV
🔗 使用任务链从 Google 搜索引擎抓取文本
使用任务链从 Google 搜索引擎抓取文本
🔗 Yandex 缓存爬虫工具
Yandex 缓存爬虫工具
🔗 仅从 Yandex 抓取搜索摘要 (Snippets)
仅从 Yandex 抓取搜索摘要 (Snippets)
🔗 获取 Yandex 搜索结果及排名位置
获取 Yandex 搜索结果及排名位置
🔗 Yandex 中的网站页面数量
Yandex 中的网站页面数量
🔗 从 Yandex 抓取关键词竞争程度
从 Yandex 抓取关键词竞争程度
🔗 在俄语 (RU) 互联网细分市场寻找空白利基
在俄语 (RU) 互联网细分市场寻找空白利基
搜索引擎排名爬虫工具
| 爬虫工具名称 | 描述 |
|---|---|
 SE::Google::Position | 在 Google 中按关键词检查网站排名：链接、所有排名位置列表 |
 SE::Yandex::Position | 在 Yandex 中按关键词检查网站排名：链接、所有排名位置列表 |
 SE::Bing::Position | 在 Bing 中按关键词检查网站排名：链接、所有排名位置列表 |
示例
🔗 同时获取多个地区的网站排名
同时获取多个地区的网站排名
🔗 同时获取多个地区的网站排名
同时获取多个地区的网站排名
🔗 结果展示方案概览
结果展示方案概览
搜索引擎建议爬虫工具
| 爬虫工具名称 | 描述 |
|---|---|
 SE::Google::Suggest | Google 建议爬虫工具：查询结果数、查询建议、查询类型 |
 SE::Yandex::Suggest | Yandex 建议爬虫工具：查询结果数、查询建议 |
 SE::Bing::Suggest | Bing 建议爬虫工具：查询结果数、查询建议 |
 SE::Aol::Suggest | Aol 建议爬虫工具：查询结果数、查询建议 |
 SE::Yahoo::Suggest | Yahoo 建议爬虫工具：查询结果数、查询建议 |
 SE::Youtube::Suggest | Youtube 建议爬虫工具：查询建议 |
示例
🔗 搜索建议抓取预设：支持从结果中排除包含停用词的建议
搜索建议抓取预设：支持从结果中排除包含停用词的建议
关键词爬虫工具
| 爬虫工具名称 | 描述 |
|---|---|
 SE::Google::Trends | Google 趋势关键词爬虫工具 |
 SE::Yandex::WordCraft | 使用 Yandex Webmaster WordCraft 抓取 Yandex 搜索中的用户查询和热门网站 |
 SE::Yandex::Wordstat | 从 wordstat.yandex.ru 服务抓取关键词和展示统计数据 |
 SE::Yandex::Wordstat::ByDate | 按月或周抓取 Yandex WordStat 展示统计数据，关键词统计 |
 Rank::Bukvarix::Domain | 从 Bukvarix 按域名采集关键词：关键词、频率、排名 |
 Rank::Bukvarix::Keyword | 从 Bukvarix 按关键词采集相关词：关键词、频率、排名 |
 Rank::Ahrefs::KeywordDifficulty | 关键词难度、关键词、关键词数量 |
 Rank::Ahrefs::KeywordGenerator | Ahrefs 关键词采集：关键词创意、带关键词的问题 |
 SE::Google::KeywordPlanner | 采集建议、关键词、竞争程度、最低和最高出价 |
 SE::Yandex::Direct | 特定查询的广告数量、标题、文本和域名、链接、锚文本、标签 |
示例
🔗 关键词季节性趋势
关键词季节性趋势
🔗 通过 WordStat 评估搜索频率
通过 WordStat 评估搜索频率
🔗 Wordstat 深度数据抓取
Wordstat 深度数据抓取
🔗 获取 Google Trends 类别列表
获取 Google Trends 类别列表
🔗 Google Trends 日期格式化
Google Trends 日期格式化
账号注册
| 爬虫工具名称 | 描述 |
|---|---|
 SE::Yandex::Register | 在 Yandex 中注册账号 |
示例
🔗 获取 Yandex 完整地区列表
获取 Yandex 完整地区列表
🔗 自动化注册 Yandex 账号
自动化注册 Yandex 账号
网站和域名参数爬虫工具
| 爬虫工具名称 | 描述 |
|---|---|
 SE::Google::TrustCheck | 检查网站信任度 |
 SE::Google::Compromised | 检查是否存在 "This site may be hacked" 标记 |
 SE::Google::SafeBrowsing | 检查域名是否在 Google 黑名单中 |
 SE::Yandex::SafeBrowsing | 检查域名是否在 Yandex 黑名单中 |
 SE::Yandex::SQI | 检查 Yandex 网站质量指数 (SQI) |
 Net::Whois | 确定域名是否已注册、域名创建日期以及注册到期日期 |
 Net::Dns | 将域名解析为 IP 地址的爬虫工具 |
 Rank::Cms | 识别所有热门论坛、博客、CMS、留言板、维基及许多其他类型的引擎 |
 Rank::Archive | 抓取网站在 Web Archive 中首次和最后一次缓存的日期 |
 Rank::MajesticSEO | 从 majesticseo.com 服务抓取反向链接数量 |
 Rank::Mustat | 评估网站流量，以及域名价值和评级 |
 Rank::Social::Signal | 社交信号爬虫工具 |
 Rank::Curlie | 检查网站是否在 Curlie 目录中（DMOZ 的替代品） |
 Rank::Ahrefs | ahrefs.com 爬虫工具 |
 Rank::KeysSo | keys.so 爬虫工具 |
 Rank::MOZ | MOZ 爬虫工具 |
 SecurityTrails::Ip | 按 IP 采集域名 |
 SecurityTrails::Domain | SecurityTrails 爬虫工具 |
示例
🔗 根据 Google 关键词抓取主题域名并获取各项域名参数
根据 Google 关键词抓取主题域名并获取各项域名参数
🔗 网站信息
网站信息
🔗 Net::Whois 提取自定义数据
Net::Whois 提取自定义数据
🔗 通过 Telegram 接收域名到期提醒
通过 Telegram 接收域名到期提醒
🔗 采集电子邮件地址库
采集电子邮件地址库
🔗 识别 IP 上的域名列表
识别 IP 上的域名列表
🔗 15 小时内识别 1,000,000 个域名的 CMS
15 小时内识别 1,000,000 个域名的 CMS
🔗 按特定 CMS 抓取网站域名
按特定 CMS 抓取网站域名
🔗 带订阅功能的 WordPress 网站
带订阅功能的 WordPress 网站
各种服务爬虫工具
| 爬虫工具名称 | 描述 |
|---|---|
| SE::Yandex::Register | 支持在 Yandex 中注册账号 |
 SE::Bing::Translator | 通过 www.bing.com/translator/ 服务进行翻译 |
 SE::Google::Translate | Google 翻译 |
 SE::Yandex::Translate | Yandex 翻译 |
 SE::Bing::Images | Bing 搜索引擎图片爬虫工具 |
 SE::Google::Images | Google 关键词图片爬虫工具 |
 SE::Google::ByImage | 以图搜图 |
 SE::Yandex::Images | Yandex 关键词图片爬虫工具 |
 SE::Yandex::ByImage | 从 Yandex 通过链接抓取图片 |
 SE::DuckDuckGo::Images | 从 DuckDuckGo 抓取图片 |
 SE::Dogpile::Images | 从 Dogpile 抓取图片 |
 Util::AntiGate | 通过 AntiGate 服务识别验证码 |
 Util::YandexRecognize | 识别 Yandex 验证码 |
 Util::ReCaptcha2 | 识别来自 Anti-captcha.com、Rucaptcha.com、Capmonster、Capmonster.cloud、Xevil、2captcha、R.I.P.captcha 资源的 ReCaptcha |
 SEO::Ping | 向支持 Weblog API 的服务（Google Blog Search、Feed Burner、Ping-o-Matic 等）批量发送 Ping 请求 |
 Check::RosKomNadzor | 在俄罗斯联邦电信、信息技术和大众传媒监督局 (Roskomnadzor) 数据库中检查网站 |
 SE::Yandex::Speller | 通过 Yandex.Speller 检查页面文本错误 |
 GooglePlay::Apps | Google Play 应用爬虫工具 |
 Social::Instagram::Post | Instagram 帖子数据爬虫工具 |
 Social::Instagram::Profile | Instagram 个人资料数据爬虫工具 |
 Social::Instagram::Tag | Instagram 按标签抓取帖子 |
 Social::Instagram::Geo | Instagram 指定位置帖子爬虫工具 |
 Telegram::GroupScraper | Telegram 公开群组数据爬虫工具 |
 API::Server::Redis | 通过 Redis 与 A-Parser 交互 |
 SE::Google::Cache | 检查 Google 缓存中是否存在页面 |
| Social::Instagram::Geo | Instagram 指定位置帖子爬虫工具 |
 DeepL::Translator | 通过 www.deepl.com 服务翻译文本 |
 CoinMarketCap::LastPrice | CoinMarketCap 商店爬虫工具：代币名称、当前美元价格 |
示例
🔗 自动化注册 Yandex 账号
自动化注册 Yandex 账号
🔗 翻译引擎速度对比
翻译引擎速度对比
🔗 将整个文件作为查询请求使用
将整个文件作为查询请求使用
🔗 从目录加载文件进行 DeepL 翻译
从目录加载文件进行 DeepL 翻译
🔗 下载指定分辨率和大小的图片
下载指定分辨率和大小的图片
🔗 创建 JS 爬虫工具：处理验证码 (CAPTCHA)
创建 JS 爬虫工具：处理验证码 (CAPTCHA)
🔗 创建 JS 爬虫工具：处理 ReCaptcha2
创建 JS 爬虫工具：处理 ReCaptcha2
🔗 SEO::Ping 使用示例
SEO::Ping 使用示例
🔗 Social::Instagram::Geo 的位置链接爬虫工具
Social::Instagram::Geo 的位置链接爬虫工具
🔗 抓取 Instagram 用户信息
抓取 Instagram 用户信息
🔗 抓取 Telegram 公开群组用户
抓取 Telegram 公开群组用户
商店爬虫工具
| 爬虫工具名称 | 描述 |
|---|---|
 Shop::Amazon | amazon.com 搜索结果爬虫工具 |
 Shop::Yandex::Market | Yandex.Market 爬虫工具 |
 Shop::AliExpress | Shop::AliExpress 搜索结果爬虫工具 |
 Shop::eBay | Ebay 搜索结果爬虫工具 |
 Shop::Wildberries::ProductsList | Wildberries 商品列表爬虫工具 |
 Shop::Wildberries::ProductInfo | Wildberries 商品详情页爬虫工具 |
 Shop::Wildberries::Suggest | Wildberries 搜索建议爬虫工具 |
| Shop::Yandex::Market | Yandex.Market 商品爬虫工具 |
示例
🔗 从网站抓取商品信息
从网站抓取商品信息
地图爬虫工具
| 爬虫工具名称 | 描述 |
|---|---|
 Maps::Google | Google 地图爬虫工具：机构名称、地址和坐标、评分、评论数量和价格政策、网站、电话、照片 |
 Maps::Yandex | Yandex 地图爬虫工具：机构名称、地址和坐标、评分、评论数量和价格政策、网站、电话、照片、社交网络 |
示例
🔗 抓取 Google Maps 以采集特定地区的所有机构信息
抓取 Google Maps 以采集特定地区的所有机构信息
内容爬虫工具
| 爬虫工具名称 | 描述 |
|---|---|
 Check::BackLink | 在链接库中检查您的链接是否存在 |
 HTML::LinkExtractor | 抓取指定网站的外部和内部链接，可按选定层级抓取内部链接 |
 HTML::ArticleExtractor | 文章爬虫工具 |
 HTML::TextExtractor | 文本块爬虫工具 |
 HTML::TextExtractor::LangDetect | 识别页面语言，无需使用第三方服务 |
 HTML::EmailExtractor | 从网站页面抓取电子邮件地址 |
 Net::HTTP | 下载指定页面，支持多页抓取 |
示例
🔗 检查 Yandex 缓存中是否存在页面链接
检查 Yandex 缓存中是否存在页面链接
🔗 基于 HTML::LinkExtractor 爬虫工具的网站深度抓取
基于 HTML::LinkExtractor 爬虫工具的网站深度抓取
🔗 视频：使用 Net::HTTP 抓取 Booking.com 资源
视频：使用 Net::HTTP 抓取 Booking.com 资源
🔗 定期检查反向链接并将结果追加到表格
定期检查反向链接并将结果追加到表格
🔗 基于 HTML::LinkExtractor 爬虫工具的网站深度抓取
基于 HTML::LinkExtractor 爬虫工具的网站深度抓取
🔗 采集内链主题
采集内链主题
🔗 查找网站子域名
查找网站子域名
🔗 抓取网站并保存图片链接
抓取网站并保存图片链接
🔗 利用 JavaScript 功能生成 sitemap.xml
利用 JavaScript 功能生成 sitemap.xml
🔗 获取网站页面并检查 Google 和 Yandex 的收录情况
获取网站页面并检查 Google 和 Yandex 的收录情况
🔗 分析网站页面响应速度
分析网站页面响应速度
🔗 从联系页面抓取电子邮件
从联系页面抓取电子邮件
🔗 检查页面文本长度
检查页面文本长度
🔗 音译转换
音译转换