跳转到主要内容

Rank::Curlie - 检查网站是否收录在 Curlie 目录(DMOZ 替代方案)

img

爬虫工具概览

Curlie 是网络上最大、最全面的由人工编辑的目录。它由来自世界各地的广大志愿编辑社区创建和维护。以前被称为 DMOZ 和开放目录项目 (ODP)。

得益于内置强大的 Template Toolkit 模板引擎,可以将结果保存为您需要的任何形式和结构,这允许对结果应用额外的逻辑,并以各种格式输出数据,包括 JSON、SQL 和 CSV

采集数据

数据采集自 curlie.org 服务:

  • 网站在 Curlie 目录(类似于 DMOZ)中的存在情况

应用场景

  • 检查网站是否被 curlie.org 目录收录

查询

在查询中需要指定域名列表,例如:

bing.com  
learn.javascript.ru
trello.com
ellistalks.com
megastom.ru

结果输出示例

A-Parser 得益于内置的 Template Toolkit 模板引擎,支持灵活的结果格式化,这使得它能够以任意形式以及结构化形式(如 CSV 或 JSON)输出结果。

默认输出

结果格式:

$query: $exists\n

结果显示了域名及其在 curlie.org 目录中的存在情况(1 表示存在,0 表示不存在):

bing.com: 1
trello.com: 1
megastom.ru: 0
ellistalks.com: 1
learn.javascript.ru: 1

输出到 CSV 表格

结果格式:

[% tools.CSVline(query, exists) %]

结果示例:

"trello.com",1
"bing.com",1
"ellistalks.com",1
"learn.javascript.ru",1
"megastom.ru",0

可用设置