Rank::KeysSo - Keys.so 爬虫工具

Keys.so 爬虫工具概览

Keys.so 是一款竞争情报工具。该服务可以帮助您确定网站的竞争对手列表，查看他们在搜索结果中的排名关键词，以及他们的广告显示的关键词。它拥有俄语互联网（Runet）中最大的关键词数据库，包含超过 8000 万个关键词。

A-Parser 的功能允许您保存数据抓取设置以便将来使用（预设）、设置数据抓取计划等等。您可以使用自动查询扩展、从文件中替换子查询、遍历数字字母组合和列表，以获得尽可能多的结果。

得益于内置强大的 Template Toolkit 模板引擎，您可以按所需的格式和结构保存结果，该引擎允许对结果应用额外的逻辑，并以各种格式输出数据，包括 JSON、SQL 和 CSV。

前往演示购买 A-Parser Pro ($299)

采集数据

俄语互联网可见度排名
关键词覆盖率排名
前 50 名中的页面数量
搜索流量（来自自然搜索的每日预估用户数）
索引中的页面数量
页面流量
页面关键词数量
效果评估（前 50 名关键词中进入前 5 名的百分比）
域名所有者在 Adsense、Analytics、Leadia 和 Relap.io 中的网站数量
域名所有者的子域名数量
前 1、前 3、前 5、前 10、前 50 名中的关键词数量
自然搜索结果页面（获取页面链接和关键词数量）
竞争对手列表（域名链接、共同关键词数量、域名相似度、Yandex 流量）
关键词短语（查询、频率、排名）

对于投放上下文广告的网站：

上下文广告流量（不考虑任何定向条件的上下文广告流量评估。精确频率乘以预测 CTR，除以 30 天）
预算评估（不考虑任何定向条件的预算评估。精确频率乘以预测 CTR，再乘以点击成本）
上下文广告中的广告数量
上下文广告中的查询数量
每个广告的查询数量
上下文广告（广告内容和查询数量）
上下文广告竞争对手（域名、共同查询数量、总查询数量、广告数量）
网站在上下文广告中的查询（查询、频率、排名、展示位置、点击价格）

功能

为 Google 和 Yandex 选择搜索地区
带身份验证的数据抓取（通过替换 Cookie）

应用场景

获取俄语互联网可见度排名、关键词覆盖率
获取页面流量数据
获取前 1、前 3、前 5、前 10、前 50 名中的关键词数量
查找网站竞争对手
获取网站在搜索中排名的查询列表
获取网站的上下文广告内容
获取上下文广告竞争对手
采集 Google 和 Yandex 的地区搜索数据

查询

必须指定域名作为查询，例如：

a-parser.com

结果输出示例

A-Parser 得益于内置的模板引擎 Template Toolkit，支持灵活的结果格式化，这使其能够以任意形式以及结构化形式（如 CSV 或 JSON）输出结果。

默认输出

结果格式：

Query - $query, By vision in runet - $by_vis, By keys - $by_keys, Requests in top 50 - $in_top50,  Search traf - $search_traff\n

结果示例：

Query - a-parser.com, By vision in runet - 104606, By keys - 197798, Requests in top 50 - 1540,  Search traf - 57

输出竞争对手列表

结果格式：

$comp_keys.format('$links, $total_keys, $similarity, $traff_y\n')

结果示例：

http://youtube.com, 1360, 0.00, 8286326
http://habr.com, 1174, 0.04, 116283
http://vc.ru, 1172, 0.06, 40749
http://zen.yandex.ru, 923, 0.00, 5944772
http://spark.ru, 870, 0.33, 2062
http://zennolab.com, 828, 2.78, 216
http://web-data-extractor.net, 819, 35.11, 53

以 CSV 格式输出竞争对手列表

结果格式：

[% FOREACH comp_keys;
  tools.CSVline(links, total_keys, similarity, traff_y);
END %]

结果示例：

http://vk.com,5316893,12.18,8682202
http://youla.ru,5222139,84.47,231703
http://moskva.tiu.ru,4812708,59.84,323103
http://youtube.com,4543041,8.27,8286326
http://moskva.regmarkets.ru,4106292,61.62,13983
http://ozon.ru,3783344,46.81,580266

将竞争对手列表转储为 JSON

通用结果格式：

[% IF notFirst;
  ",\n";
ELSE;
  notFirst = 1;
END;

obj = {};
obj.query = query;
obj.competitors = [];

FOREACH item IN p1.comp_keys;
    obj.competitors.push({
        links = item.links
        total_keys = item.total_keys
        similarity = item.similarity
        traff_y = item.traff_y
    });
END;

obj.json %]

起始文本：

结束文本：

结果示例：

[
    {
        "query": "avito.ru",
        "competitors": [
            {
                "traffic": "8682202",
                "similarity": "12.18",
                "total_keys": "5316893",
                "links": "http://vk.com"
            },
            {
                "traffic": "231703",
                "similarity": "84.47",
                "total_keys": "5222139",
                "links": "http://youla.ru"
            },
            {
                "traffic": "323103",
                "similarity": "59.84",
                "total_keys": "4812708",
                "links": "http://moskva.tiu.ru"
            }
        ]
    }
]

提示

要在任务编辑器中使用“Prepend text”和“Append text”选项，需要激活“More options”。

输出关键词短语列表

结果格式：

$key_phrases.format('$req, $base_freq, $va_freq, $pos\n')

结果示例：

a parser, 2870, 332, 1
a parser 下载种子, 183, 181, 1
aparser, 435, 118, 1
a parser 种子, 285, 103, 1
而 爬虫工具, 423, 101, 1
a parser com, 221, 87, 1
google 搜索结果爬虫工具, 66, 61, 1
a parser 批量排名查询器, 53, 52, 1

以 CSV 格式输出关键词短语列表

结果格式：

[% FOREACH key_phrases;
  tools.CSVline(req, base_freq, va_freq, pos);
END %]

结果示例：

"avito",59415062,9034027,1
"avito 莫斯科",1782404,451582,1
"avito 圣彼得堡",634665,343183,1
avito,1207134,307012,1
"avito 沃罗涅日",629468,286035,1

将关键词短语列表转储为 JSON

通用结果格式：

[% IF notFirst;
  ",\n";
ELSE;
  notFirst = 1;
END;

obj = {};
obj.query = query;
obj.phrases = [];

FOREACH item IN p1.key_phrases;
    obj.phrases.push({
        req = item.req
        base_freq = item.base_freq
        va_freq = item.va_freq
        pos = item.pos
    });
END;

obj.json %]

起始文本：

结束文本：

结果示例：

[
    {
        "query": "avito.ru",
        "phrases": [
            {
                "base_freq": "59415062",
                "req": "avito",
                "va_freq": "9034027",
                "pos": "1"
            },
            {
                "base_freq": "1782404",
                "req": "avito 莫斯科",
                "va_freq": "451582",
                "pos": "1"
            },
            {
                "base_freq": "634665",
                "req": "avito 圣彼得堡",
                "va_freq": "343183",
                "pos": "1"
            }
        ]
    }
]

提示

要在任务编辑器中使用“Prepend text”和“Append text”选项，需要激活“More options”。

输出自然搜索结果页面

结果格式：

$organic_pages.format('$pages, $keys\n')

结果示例：

http://a-parser.com/, 315
http://a-parser.com/wiki/parsers/, 115
http://a-parser.com/a-parser-for-e-commerce/, 56
http://a-parser.com/wiki/js-parsers/, 44
http://a-parser.com/wiki/html-emailextractor/, 40
http://a-parser.com/resources/21/, 39
http://a-parser.com/threads/1809/, 35
http://a-parser.com/threads/4253/, 32

以 CSV 格式输出自然搜索结果页面

结果格式：

[% FOREACH organic_page;
    tools.CSVline(pages, keys);
END %]

结果示例：

http://a-parser.com/, 315
http://a-parser.com/wiki/parsers/, 115
http://a-parser.com/a-parser-for-e-commerce/, 56
http://a-parser.com/wiki/js-parsers/, 44
http://a-parser.com/wiki/html-emailextractor/, 40
http://a-parser.com/resources/21/, 39
http://a-parser.com/threads/1809/, 35
http://a-parser.com/threads/4253/, 32

将自然搜索结果页面转储为 JSON

通用结果格式：

[% IF notFirst;
  ",\n";
ELSE;
  notFirst = 1;
END;

obj = {};
obj.query = query;
obj.organic = [];

FOREACH item IN p1.organic_pages;
    obj.organic.push({
        pages = item.pages
        keys = item.keys
    });
END;

obj.json %]

起始文本：

结束文本：

结果示例：

[
    {
        "query": "avito.ru",
        "organic": [
            {
                "keys": "4652",
                "pages": "http://avito.ru/"
            },
            {
                "keys": "4563",
                "pages": "http://avito.ru/moskva/avtomobili"
            },
            {
                "keys": "4484",
                "pages": "http://avito.ru/moskva/kvartiry/sdam-ASgBAgICAUSSA8gQ"
            }
        ]
    }
]

提示

要在任务编辑器中使用“Prepend text”和“Append text”选项，需要激活“More options”。

输出上下文广告内容

结果格式：

$ads_context.format('$aheader, $atext, $acount\n')

结果示例：

莫斯科电脑与笔记本维修，上门服务！自 2015 年起在 Avito 注册 – 铜牌状态。24/7 接收订单！ · 电脑 & 笔记本。平板电脑 & 智能手机。路由器 & WI - FI, 38658
在 Avito 预订房间。与 Avito 一起旅行，酒店和旅馆 - 为您提供海量选择。现已上线 Avito。, 20122
在莫斯科市找工作。在 Avito 招聘，莫斯科市最新职位空缺。Avito - 俄罗斯排名第一的分类广告服务！, 20110

以 CSV 格式输出上下文广告内容

结果格式：

[% FOREACH ads_context;
  tools.CSVline(aheader, atext, acount);
END %]

结果示例：

莫斯科电脑与笔记本维修","上门服务！自 2015 年起在 Avito 注册 – 铜牌状态。24/7 接收订单！ · 电脑 – 笔记本。平板电脑 · 智能手机。路由器 & & WI - FI",38658& & WI - FI",38658& WI - FI",38658
"在 Avito 预订房间。与 Avito 一起旅行","酒店和旅馆 - 为您提供海量选择。现已上线 Avito。",20122
"在莫斯科市找工作。在 Avito 招聘","莫斯科市最新职位空缺。Avito - 俄罗斯排名第一的分类广告服务！",20110№1 在俄罗斯!",20110
"Avito 上的狗狗。购买或免费领养。","数十万条广告。通过 Avito 在全俄罗斯进行有利交易！",17306

将上下文广告内容转储为 JSON

通用结果格式：

[% IF notFirst;
  ",\n";
ELSE;
  notFirst = 1;
END;

obj = {};
obj.query = query;
obj.ads = [];

FOREACH item IN p1.ads_context;
    obj.ads.push({
        header = item.aheader
        text = item.atext
        count = item.acount
    });
END;

obj.json %]

起始文本：

结束文本：

结果示例：

[
    {
        "ads": [
            {
                "count": "38658",
                "text": "上门服务！自 2015 年起在 Avito 注册 – 铜牌状态。24/7 接收订单！ · 电脑 – 笔记本。平板电脑 · 智能手机。路由器 & & WI - FI& & WI - FI& WI - FI",
                "header": "莫斯科电脑与笔记本维修"
            },
            {
                "count": "20122",
                "text": "酒店和旅馆 - 为您提供海量选择。现已上线 Avito。",
                "header": "在 Avito 预订房间。与 Avito 一起旅行"
            },
            {
                "count": "20110",
                "text": "莫斯科市最新职位空缺。Avito - 俄罗斯排名第一的分类广告服务！№1 在俄罗斯!",
                "header": "在莫斯科市找工作。在 Avito 招聘"
            }
        ],
        "query": "avito.ru"
    }
]

提示

要在任务编辑器中使用“Prepend text”和“Append text”选项，需要激活“More options”。

输出上下文广告竞争对手

结果格式：

$comp_context.format('$link, $common, $req, $ads\n')

结果示例：

http://uslugi.yandex.ru, 340399, 11188812, 30632
http://superjob.ru, 180179, 885168, 19065
http://mvideo.ru, 174070, 2840150, 344731
http://pleer.ru, 166815, 2577993, 238284
http://ru.jobsora.com, 124103, 596184, 99781
http://citilink.ru, 114529, 1903350, 94937
http://goods.ru, 113373, 2684645, 328750
http://pokupki.market.yandex.ru, 81527, 2657498, 326255

以 CSV 格式输出上下文广告竞争对手

结果格式：

[% FOREACH comp_context; 
    tools.CSVline(link, common, req, ads);
END %]

结果示例：

http://uslugi.yandex.ru, 340399, 11188812, 30632
http://superjob.ru, 180179, 885168, 19065
http://mvideo.ru, 174070, 2840150, 344731
http://pleer.ru, 166815, 2577993, 238284
http://ru.jobsora.com, 124103, 596184, 99781
http://citilink.ru, 114529, 1903350, 94937
http://goods.ru, 113373, 2684645, 328750
http://pokupki.market.yandex.ru, 81527, 2657498, 326255

将上下文广告竞争对手转储为 JSON

通用结果格式：

[% IF notFirst;
  ",\n";
ELSE;
  notFirst = 1;
END;

obj = {};
obj.query = query;
obj.competitors = [];

FOREACH item IN p1.comp_context;
    obj.competitors.push({
        link = item.link
        common = item.common
        req = item.req
        ads = item.ads
    });
END;

obj.json %]

起始文本：

结束文本：

结果示例：

[
    {
        "query": "avito.ru",
        "competitors": [
            {
                "ads": "30632",
                "link": "http://uslugi.yandex.ru",
                "req": "11188812",
                "common": "340399"
            },
            {
                "ads": "19065",
                "link": "http://superjob.ru",
                "req": "885168",
                "common": "180179"
            },
            {
                "ads": "344731",
                "link": "http://mvideo.ru",
                "req": "2840150",
                "common": "174070"
            },
            
        ]
    }
]

提示

要在任务编辑器中使用“Prepend text”和“Append text”选项，需要激活“More options”。

输出网站在上下文广告中的查询

结果格式：

$wreq_context.format('$request, $freq, $va_freq, $pos, $placement, $price\n')

结果示例：

车里雅宾斯克工作, 202530, 40163, 3, 特选, 4
代数 8 年级 dorofeev, 217307, 18467, 2, 保证, 2
far cry 3, 113266, 23218, 5, 保证, 3
巴尔瑙尔工作, 128775, 26402, 3, 特选, 4
哈利波特与消失的密室 2002 电影, 36482, 30450, 2, 保证, 5
马自达 6, 554463, 25248, 6, 保证, 19
assassin s creed, 535915, 29419, 5, 保证, 5
avito 梁赞, 325994, 137938, 3, 保证, 13

以 CSV 格式输出网站在上下文广告中的查询

结果格式：

[% FOREACH wreq_context;
    tools.CSVline(request, freq, va_freq, pos, placement, price);
END %]

结果示例：

"车里雅宾斯克工作",202530,40163,3,"特选",4
"代数 8 年级 dorofeev",217307,18467,2,"保证",2
"far cry 3",113266,23218,5,"保证",3
"巴尔瑙尔工作",128775,26402,3,"特选",4
"哈利波特与消失的密室 2002 电影",36482,30450,2,"保证",5
"马自达 6",554463,25248,6,"保证",19
"assassin s creed",535915,29419,5,"保证",5
"avito 梁赞",325994,137938,3,"保证",13
"avito 梁赞州",72077,19586,2,"保证",20

将网站在上下文广告中的查询转储为 JSON

通用结果格式：

[% IF notFirst;
  ",\n";
ELSE;
  notFirst = 1;
END;

obj = {};
obj.query = query;
obj.wreq = [];

FOREACH item IN p1.wreq_context;
    obj.wreq.push({
        request = item.request
        freq = item.freq
        va_freq = item.va_freq
        pos = item.pos
        placement = item.placement
        price = item.price
    });
END;

obj.json %]

起始文本：

结束文本：

结果示例：

[
    {
        "query": "avito.ru",
        "wreq": [
            {
                "request": "车里雅宾斯克工作",
                "placement": "特选",
                "freq": "202530",
                "va_freq": "40163",
                "price": "4",
                "pos": "3"
            },
            {
                "request": "代数 8 年级 dorofeev",
                "placement": "保证",
                "freq": "217307",
                "va_freq": "18467",
                "price": "2",
                "pos": "2"
            },
            {
                "request": "far cry 3",
                "placement": "保证",
                "freq": "113266",
                "va_freq": "23218",
                "price": "3",
                "pos": "5"
            }
        ]
    }
]

提示

要在任务编辑器中使用“Prepend text”和“Append text”选项，需要激活“More options”。

可能的设置

备注

所有爬虫工具的通用设置

参数	默认值	描述
Search DB	`Yandex Moscow`	选择搜索数据库
Cookie "userlogin="		在此字段中，需要填写在浏览器登录后获取的 `userlogin` Cookie 值

Keys.so 爬虫工具概览​

采集数据​

功能​

应用场景​

查询​

结果输出示例​

默认输出​

输出竞争对手列表​

以 CSV 格式输出竞争对手列表​

将竞争对手列表转储为 JSON​

输出关键词短语列表​

以 CSV 格式输出关键词短语列表​

将关键词短语列表转储为 JSON​

输出自然搜索结果页面​

以 CSV 格式输出自然搜索结果页面​

将自然搜索结果页面转储为 JSON​

输出上下文广告内容​

以 CSV 格式输出上下文广告内容​

将上下文广告内容转储为 JSON​

输出上下文广告竞争对手​

以 CSV 格式输出上下文广告竞争对手​

将上下文广告竞争对手转储为 JSON​

输出网站在上下文广告中的查询​

以 CSV 格式输出网站在上下文广告中的查询​

将网站在上下文广告中的查询转储为 JSON​

可能的设置​

Keys.so 爬虫工具概览

采集数据

功能

应用场景

查询

结果输出示例

默认输出

输出竞争对手列表

以 CSV 格式输出竞争对手列表

将竞争对手列表转储为 JSON

输出关键词短语列表

以 CSV 格式输出关键词短语列表

将关键词短语列表转储为 JSON

输出自然搜索结果页面

以 CSV 格式输出自然搜索结果页面

将自然搜索结果页面转储为 JSON

输出上下文广告内容

以 CSV 格式输出上下文广告内容

将上下文广告内容转储为 JSON

输出上下文广告竞争对手

以 CSV 格式输出上下文广告竞争对手

将上下文广告竞争对手转储为 JSON

输出网站在上下文广告中的查询

以 CSV 格式输出网站在上下文广告中的查询

将网站在上下文广告中的查询转储为 JSON

可能的设置