Rank::KeysSo - keys.so スクレイパー

Keys.so スクレイパーの概要

Keys.soは、競合分析のためのツールです。このサービスを利用することで、自社サイトの競合リストを把握し、競合が検索結果でどのようなクエリでランクインしているか、またどのようなクエリで広告を表示させているかを確認できます。Runet（ロシア語圏インターネット）最大級のクエリデータベースを誇り、8000万以上のキーワードが登録されています。

A-Parserの機能により、スクレイピング設定を保存して再利用（プリセット）したり、スクレイピングのスケジュールを設定したりすることが可能です。また、クエリの自動増殖、ファイルからのサブクエリの挿入、英数字の組み合わせやリストの総当たりなどを使用して、最大限の検索結果を取得できます。

内蔵された強力なテンプレートエンジン Template Toolkit により、結果に必要なロジックを適用し、JSON、SQL、CSVを含む様々な形式で、必要な構造のままデータを保存できます。

オンラインデモへ A-Parser Proを購入 ($299)

収集データ

Runetにおける視認性ランキング
キーワードカバレッジによるランキング
TOP 50内のページ数
検索トラフィック（オーガニック検索からの1日あたりの推定ユーザー数）
インデックスされているページ数
ページへのトラフィック
ページあたりのクエリ数
パフォーマンス評価（TOP 50内のキーワードのうち、TOP 5に入っている割合）
ドメイン所有者がAdsense、Analytics、Leadia、Relap.ioに登録しているサイト数
ドメイン所有者のサブドメイン数
TOP 1、TOP 3、TOP 5、TOP 10、TOP 50内のクエリ数
オーガニック検索結果のページ（ページへのリンクとキーワード数を取得）
競合リスト（ドメインへのリンク、共通キーワード数、ドメインの類似度、Yandexトラフィック）
キーワードフレーズ（クエリ、検索ボリューム、順位）

リスティング広告（検索広告）を出稿しているサイトの場合：

コンテキスト広告トラフィック（ターゲティングを考慮しない推定トラフィック。正確な検索ボリューム × 予測CTR ÷ 30日）
予算見積もり（ターゲティングを考慮しない推定予算。正確な検索ボリューム × 予測CTR × クリック単価）
コンテキスト広告の広告数
コンテキスト広告のクエリ数
広告あたりのクエリ数
コンテキスト広告の内容（広告文とクエリ数）
コンテキスト広告における競合（ドメイン、共通クエリ数、全クエリ数、広告数）
サイトのコンテキスト広告クエリ（クエリ、検索ボリューム、順位、掲載場所、クリック単価）

機能

GoogleおよびYandexの検索地域の選択
認証付きスクレイピング（クッキーの挿入による）

ユースケース

Runetにおける視認性ランキングやキーワードカバレッジの取得
ページへのトラフィック量の取得
TOP 1、TOP 3、TOP 5、TOP 10、TOP 50内のクエリ数の取得
サイトの競合調査
サイトが検索結果でランクインしているクエリリストの取得
サイトのリスティング広告（コンテキスト広告）の取得
コンテキスト広告における競合の取得
GoogleおよびYandexの地域別検索データの収集

クエリ

クエリとしてドメインを指定する必要があります。例：

a-parser.com

結果の出力例

A-Parserは、内蔵のテンプレートエンジン Template Toolkit により、柔軟な結果フォーマットをサポートしています。これにより、任意の形式や、CSV、JSONなどの構造化された形式で結果を出力できます。

デフォルト出力

結果フォーマット：

Query - $query, By vision in runet - $by_vis, By keys - $by_keys, Requests in top 50 - $in_top50,  Search traf - $search_traff\n

結果の例：

Query - a-parser.com, By vision in runet - 104606, By keys - 197798, Requests in top 50 - 1540,  Search traf - 57

競合リストの出力

結果フォーマット：

$comp_keys.format('$links, $total_keys, $similarity, $traff_y\n')

結果の例：

http://youtube.com, 1360, 0.00, 8286326
http://habr.com, 1174, 0.04, 116283
http://vc.ru, 1172, 0.06, 40749
http://zen.yandex.ru, 923, 0.00, 5944772
http://spark.ru, 870, 0.33, 2062
http://zennolab.com, 828, 2.78, 216
http://web-data-extractor.net, 819, 35.11, 53

競合リストのCSV出力

結果フォーマット：

[% FOREACH comp_keys;
  tools.CSVline(links, total_keys, similarity, traff_y);
END %]

結果の例：

http://vk.com,5316893,12.18,8682202
http://youla.ru,5222139,84.47,231703
http://moskva.tiu.ru,4812708,59.84,323103
http://youtube.com,4543041,8.27,8286326
http://moskva.regmarkets.ru,4106292,61.62,13983
http://ozon.ru,3783344,46.81,580266

競合リストのJSONダンプ

共通結果形式:

[% IF notFirst;
  ",\n";
ELSE;
  notFirst = 1;
END;

obj = {};
obj.query = query;
obj.competitors = [];

FOREACH item IN p1.comp_keys;
    obj.competitors.push({
        links = item.links
        total_keys = item.total_keys
        similarity = item.similarity
        traff_y = item.traff_y
    });
END;

obj.json %]

開始テキスト:

終了テキスト:

結果の例：

[
    {
        "query": "avito.ru",
        "competitors": [
            {
                "traffic": "8682202",
                "similarity": "12.18",
                "total_keys": "5316893",
                "links": "http://vk.com"
            },
            {
                "traffic": "231703",
                "similarity": "84.47",
                "total_keys": "5222139",
                "links": "http://youla.ru"
            },
            {
                "traffic": "323103",
                "similarity": "59.84",
                "total_keys": "4812708",
                "links": "http://moskva.tiu.ru"
            }
        ]
    }
]

ヒント

「Prepend text」および「Append text」オプションをタスクエディタで表示するには、「More options」を有効にする必要があります。

キーワードフレーズリストの出力

結果フォーマット：

$key_phrases.format('$req, $base_freq, $va_freq, $pos\n')

結果の例：

a parser, 2870, 332, 1
A-Parser ダウンロード トレント, 183, 181, 1
aparser, 435, 118, 1
A-Parser トレント, 285, 103, 1
A-Parser, 423, 101, 1
a parser com, 221, 87, 1
Google 検索結果スクレイパー, 66, 61, 1
A-Parser 一括順位チェッカー, 53, 52, 1

キーワードフレーズリストのCSV出力

結果フォーマット：

[% FOREACH key_phrases;
  tools.CSVline(req, base_freq, va_freq, pos);
END %]

結果の例：

"avito",59415062,9034027,1
"avito moscow",1782404,451582,1
"avito saint petersburg",634665,343183,1
avito,1207134,307012,1
"avito voronezh",629468,286035,1

キーワードフレーズリストのJSONダンプ

共通結果形式:

[% IF notFirst;
  ",\n";
ELSE;
  notFirst = 1;
END;

obj = {};
obj.query = query;
obj.phrases = [];

FOREACH item IN p1.key_phrases;
    obj.phrases.push({
        req = item.req
        base_freq = item.base_freq
        va_freq = item.va_freq
        pos = item.pos
    });
END;

obj.json %]

開始テキスト:

終了テキスト:

結果の例：

[
    {
        "query": "avito.ru",
        "phrases": [
            {
                "base_freq": "59415062",
                "req": "avito",
                "va_freq": "9034027",
                "pos": "1"
            },
            {
                "base_freq": "1782404",
                "req": "avito moscow",
                "va_freq": "451582",
                "pos": "1"
            },
            {
                "base_freq": "634665",
                "req": "avito saint petersburg",
                "va_freq": "343183",
                "pos": "1"
            }
        ]
    }
]

ヒント

「Prepend text」および「Append text」オプションをタスクエディタで表示するには、「More options」を有効にする必要があります。

オーガニック検索結果ページの出力

結果フォーマット：

$organic_pages.format('$pages, $keys\n')

結果の例：

http://a-parser.com/, 315
http://a-parser.com/wiki/parsers/, 115
http://a-parser.com/a-parser-for-e-commerce/, 56
http://a-parser.com/wiki/js-parsers/, 44
http://a-parser.com/wiki/html-emailextractor/, 40
http://a-parser.com/resources/21/, 39
http://a-parser.com/threads/1809/, 35
http://a-parser.com/threads/4253/, 32

オーガニック検索結果ページのCSV出力

結果フォーマット：

[% FOREACH organic_page;
    tools.CSVline(pages, keys);
END %]

結果の例：

http://a-parser.com/, 315
http://a-parser.com/wiki/parsers/, 115
http://a-parser.com/a-parser-for-e-commerce/, 56
http://a-parser.com/wiki/js-parsers/, 44
http://a-parser.com/wiki/html-emailextractor/, 40
http://a-parser.com/resources/21/, 39
http://a-parser.com/threads/1809/, 35
http://a-parser.com/threads/4253/, 32

オーガニック検索結果ページのJSONダンプ

共通結果形式:

[% IF notFirst;
  ",\n";
ELSE;
  notFirst = 1;
END;

obj = {};
obj.query = query;
obj.organic = [];

FOREACH item IN p1.organic_pages;
    obj.organic.push({
        pages = item.pages
        keys = item.keys
    });
END;

obj.json %]

開始テキスト:

終了テキスト:

結果の例：

[
    {
        "query": "avito.ru",
        "organic": [
            {
                "keys": "4652",
                "pages": "http://avito.ru/"
            },
            {
                "keys": "4563",
                "pages": "http://avito.ru/moskva/avtomobili"
            },
            {
                "keys": "4484",
                "pages": "http://avito.ru/moskva/kvartiry/sdam-ASgBAgICAUSSA8gQ"
            }
        ]
    }
]

ヒント

「Prepend text」および「Append text」オプションをタスクエディタで表示するには、「More options」を有効にする必要があります。

コンテキスト広告の出力

結果フォーマット：

$ads_context.format('$aheader, $atext, $acount\n')

結果の例：

モスクワでのPC・ノートパソコン修理、出張対応！2015年からAvitoでブロンズステータス。24時間365日受付中！ · コンピューター & ノートパソコン. タブレット & スマートフォン. ルーター & WI - FI, 38658
Avitoで部屋を予約。Avitoと一緒に旅行へ、ホテル・旅館 - あなたのための多数のオファー。今すぐAvitoで。, 20122
モスクワで仕事を探す。Avito Job、モスクワの最新求人。Avito - ロシアNo.1の広告サービス！, 20110

コンテキスト広告のCSV出力

結果フォーマット：

[% FOREACH ads_context;
  tools.CSVline(aheader, atext, acount);
END %]

結果の例：

モスクワでのPC・ノートパソコン修理","出張対応！2015年からAvitoでブロンズステータス。24時間365日受付中！ · コンピューター & ノートパソコン. タブレット & スマートフォン. ルーター & WI - FI",38658
"Avitoで部屋を予約。Avitoと一緒に旅行へ","ホテル・旅館 - あなたのための多数のオファー。今すぐAvitoで。",20122
"モスクワで仕事を探す。Avito Job","モスクワの最新求人。Avito - ロシアNo.1の広告サービス！",20110
"Avitoで犬を探す。購入または里親募集。","数十万件の広告。Avitoを使ってロシア全土でお得な取引を！",17306

コンテキスト広告のJSONダンプ

共通結果形式:

[% IF notFirst;
  ",\n";
ELSE;
  notFirst = 1;
END;

obj = {};
obj.query = query;
obj.ads = [];

FOREACH item IN p1.ads_context;
    obj.ads.push({
        header = item.aheader
        text = item.atext
        count = item.acount
    });
END;

obj.json %]

開始テキスト:

終了テキスト:

結果の例：

[
    {
        "ads": [
            {
                "count": "38658",
                "text": "出張対応！2015年からAvitoでブロンズステータス。24時間365日受付中！ · コンピューター & ノートパソコン. タブレット & スマートフォン. ルーター & WI - FI",
                "header": "モスクワでのPC・ノートパソコン修理"
            },
            {
                "count": "20122",
                "text": "ホテル・旅館 - あなたのための多数のオファー。今すぐAvitoで。",
                "header": "Avitoで部屋を予約。Avitoと一緒に旅行へ"
            },
            {
                "count": "20110",
                "text": "モスクワの最新求人。Avito - ロシアNo.1の広告サービス！",
                "header": "モスクワで仕事を探す。Avito Job"
            }
        ],
        "query": "avito.ru"
    }
]

ヒント

「Prepend text」および「Append text」オプションをタスクエディタで表示するには、「More options」を有効にする必要があります。

コンテキスト広告における競合の出力

結果フォーマット：

$comp_context.format('$link, $common, $req, $ads\n')

結果の例：

http://uslugi.yandex.ru, 340399, 11188812, 30632
http://superjob.ru, 180179, 885168, 19065
http://mvideo.ru, 174070, 2840150, 344731
http://pleer.ru, 166815, 2577993, 238284
http://ru.jobsora.com, 124103, 596184, 99781
http://citilink.ru, 114529, 1903350, 94937
http://goods.ru, 113373, 2684645, 328750
http://pokupki.market.yandex.ru, 81527, 2657498, 326255

コンテキスト広告における競合のCSV出力

結果フォーマット：

[% FOREACH comp_context; 
    tools.CSVline(link, common, req, ads);
END %]

結果の例：

http://uslugi.yandex.ru, 340399, 11188812, 30632
http://superjob.ru, 180179, 885168, 19065
http://mvideo.ru, 174070, 2840150, 344731
http://pleer.ru, 166815, 2577993, 238284
http://ru.jobsora.com, 124103, 596184, 99781
http://citilink.ru, 114529, 1903350, 94937
http://goods.ru, 113373, 2684645, 328750
http://pokupki.market.yandex.ru, 81527, 2657498, 326255

コンテキスト広告における競合のJSONダンプ

共通結果形式:

[% IF notFirst;
  ",\n";
ELSE;
  notFirst = 1;
END;

obj = {};
obj.query = query;
obj.competitors = [];

FOREACH item IN p1.comp_context;
    obj.competitors.push({
        link = item.link
        common = item.common
        req = item.req
        ads = item.ads
    });
END;

obj.json %]

開始テキスト:

終了テキスト:

結果の例：

[
    {
        "query": "avito.ru",
        "competitors": [
            {
                "ads": "30632",
                "link": "http://uslugi.yandex.ru",
                "req": "11188812",
                "common": "340399"
            },
            {
                "ads": "19065",
                "link": "http://superjob.ru",
                "req": "885168",
                "common": "180179"
            },
            {
                "ads": "344731",
                "link": "http://mvideo.ru",
                "req": "2840150",
                "common": "174070"
            },
            
        ]
    }
]

ヒント

「Prepend text」および「Append text」オプションをタスクエディタで表示するには、「More options」を有効にする必要があります。

サイトのコンテキスト広告クエリの出力

結果フォーマット：

$wreq_context.format('$request, $freq, $va_freq, $pos, $placement, $price\n')

結果の例：

チェリャビンスク 求人, 202530, 40163, 3, プレミアム, 4
代数 8年生 ドロフェエフ, 217307, 18467, 2, 保証, 2
far cry 3, 113266, 23218, 5, 保証, 3
バルナウル 求人, 128775, 26402, 3, プレミアム, 4
ハリー・ポッターと秘密の部屋 映画 2002, 36482, 30450, 2, 保証, 5
マツダ 6, 554463, 25248, 6, 保証, 19
assassin s creed, 535915, 29419, 5, 保証, 5
avito リャザン, 325994, 137938, 3, 保証, 13

サイトのコンテキスト広告クエリのCSV出力

結果フォーマット：

[% FOREACH wreq_context;
    tools.CSVline(request, freq, va_freq, pos, placement, price);
END %]

結果の例：

"チェリャビンスク 求人",202530,40163,3,"プレミアム",4
"代数 8年生 ドロフェエフ",217307,18467,2,"保証",2
"far cry 3",113266,23218,5,"保証",3
"バルナウル 求人",128775,26402,3,"プレミアム",4
"ハリー・ポッターと秘密の部屋 映画 2002",36482,30450,2,"保証",5
"マツダ 6",554463,25248,6,"保証",19
"assassin s creed",535915,29419,5,"保証",5
"avito リャザン",325994,137938,3,"保証",13
"avito リャザン州",72077,19586,2,"保証",20

サイトのコンテキスト広告クエリのJSONダンプ

共通結果形式:

[% IF notFirst;
  ",\n";
ELSE;
  notFirst = 1;
END;

obj = {};
obj.query = query;
obj.wreq = [];

FOREACH item IN p1.wreq_context;
    obj.wreq.push({
        request = item.request
        freq = item.freq
        va_freq = item.va_freq
        pos = item.pos
        placement = item.placement
        price = item.price
    });
END;

obj.json %]

開始テキスト:

終了テキスト:

結果の例：

[
    {
        "query": "avito.ru",
        "wreq": [
            {
                "request": "チェリャビンスク 求人",
                "placement": "プレミアム",
                "freq": "202530",
                "va_freq": "40163",
                "price": "4",
                "pos": "3"
            },
            {
                "request": "代数 8年生 ドロフェエフ",
                "placement": "保証",
                "freq": "217307",
                "va_freq": "18467",
                "price": "2",
                "pos": "2"
            },
            {
                "request": "far cry 3",
                "placement": "保証",
                "freq": "113266",
                "va_freq": "23218",
                "price": "3",
                "pos": "5"
            }
        ]
    }
]

ヒント

「Prepend text」および「Append text」オプションをタスクエディタで表示するには、「More options」を有効にする必要があります。

利用可能な設定

注記

全スクレイパー共通の設定

パラメーター	デフォルト値	説明
Search DB	`Yandex Moscow`	検索ベースの選択
Cookie "userlogin="		このフィールドには、ログイン後にブラウザから取得したクッキー `userlogin` の値を指定する必要があります

Keys.so スクレイパーの概要​

収集データ​

機能​

ユースケース​

クエリ​

結果の出力例​

デフォルト出力​

競合リストの出力​

競合リストのCSV出力​

競合リストのJSONダンプ​

キーワードフレーズリストの出力​

キーワードフレーズリストのCSV出力​

キーワードフレーズリストのJSONダンプ​

オーガニック検索結果ページの出力​

オーガニック検索結果ページのCSV出力​

オーガニック検索結果ページのJSONダンプ​

コンテキスト広告の出力​

コンテキスト広告のCSV出力​

コンテキスト広告のJSONダンプ​

コンテキスト広告における競合の出力​

コンテキスト広告における競合のCSV出力​

コンテキスト広告における競合のJSONダンプ​

サイトのコンテキスト広告クエリの出力​

サイトのコンテキスト広告クエリのCSV出力​

サイトのコンテキスト広告クエリのJSONダンプ​

利用可能な設定​

Keys.so スクレイパーの概要

収集データ

機能

ユースケース

クエリ

結果の出力例

デフォルト出力

競合リストの出力

競合リストのCSV出力

競合リストのJSONダンプ

キーワードフレーズリストの出力

キーワードフレーズリストのCSV出力

キーワードフレーズリストのJSONダンプ

オーガニック検索結果ページの出力

オーガニック検索結果ページのCSV出力

オーガニック検索結果ページのJSONダンプ

コンテキスト広告の出力

コンテキスト広告のCSV出力

コンテキスト広告のJSONダンプ

コンテキスト広告における競合の出力

コンテキスト広告における競合のCSV出力

コンテキスト広告における競合のJSONダンプ

サイトのコンテキスト広告クエリの出力

サイトのコンテキスト広告クエリのCSV出力

サイトのコンテキスト広告クエリのJSONダンプ

利用可能な設定