跳转到主要内容

SE::Ask - 通过 Ask.com 获取 Google 美国搜索结果的爬虫工具

img

Ask 爬虫工具概览​

Ask 搜索结果爬虫工具。借助 Ask 爬虫工具，您可以获取海量的链接库，供后续使用。您可以直接使用在 Ask 搜索栏中输入的查询语句，包括搜索运算符（site, inurl 等）。

A-Parser 的功能允许您保存 Ask 爬虫工具的数据抓取设置以便后续使用（预设），设置数据抓取计划等等。您可以使用自动查询扩展、从文件中替换子查询、遍历字母数字组合和列表，以获取尽可能多的结果。

由于内置了强大的 Template Toolkit 模板引擎，您可以按所需的格式和结构保存结果，该引擎允许对结果应用额外的逻辑，并以各种格式输出数据，包括 JSON, SQL 和 CSV。

采集的数据​

  • 搜索结果中的链接、锚点和摘要
  • 相关关键词
采集的数据

功能​

  • 抓取最大可返回的结果数 - 10 页
  • 抓取多达 100 条 美国站 Ask.com 的结果
  • 支持采集相关关键词

应用场景​

  • 采集链接库 - 用于 A-Poster, XRumer, AllSubmitter 等
  • 评估关键词竞争程度
  • 查找网站的反向链接（提及）
  • 检查网站收录情况
  • 寻找有漏洞的网站
  • 任何其他涉及以某种形式对 Ask.com 进行数据抓取的场景

查询​

在查询中需要指定搜索短语，就像直接在 Ask.com 的搜索框中输入一样，例如：

test
莫斯科 窗户

查询占位符​

您可以使用内置宏来扩展查询，例如我们想要获取一个非常大的论坛数据库，指定几个不同语言的基础查询：

forum
论坛
foro
论坛

在查询格式中指定从 a 到 zzzz 的字符遍历，这种方法可以最大限度地轮换搜索结果并获得许多新的唯一结果：

$query {az:a:zzzz}

该宏将为每个原始搜索查询创建 475254 个额外查询，总计将产生 4 x 475254 = 1901016 个搜索查询，这个数字令人印象深刻，但对于 A-Parser 来说完全不是问题。在每分钟 2000 个查询的速度下，此类任务仅需 16 小时即可处理完毕。

使用运算符​

您可以在查询格式中使用搜索运算符，这样它将自动添加到列表中的每个查询：

site:$query

结果输出选项​

得益于内置的 Template Toolkit 模板引擎，A-Parser 支持灵活的结果格式化，这使其能够以任意形式以及结构化形式（如 CSV 或 JSON）输出结果。

导出链接列表​

与 SE::Google 相同。

与 SE::Google 相同。

与 SE::Google 相同。

与 SE::Google 相同。

以 SQL 格式保存​

与 SE::Google 相同。

将结果转储为 JSON​

与 SE::Google 相同。

结果处理​

A-Parser 允许在数据抓取过程中直接处理结果，在本节中，我们列出了 Ask 爬虫工具最常用的案例

与 SE::Google 相同。

与 SE::Google 相同。

提取域名​

与 SE::Google 相同。

从锚点和摘要中删除标签​

与 SE::Google 相同。

与 SE::Google 相同。

可用设置​

备注

所有爬虫工具的通用设置

参数名称默认值描述
Pages count5抓取的页数（1 到 10）
Use http2☑使用 http2