Rank::KeysSo - Công cụ cào dữ liệu keys.so

Tổng quan về công cụ cào dữ liệu

Keys.so là một công cụ tình báo cạnh tranh. Dịch vụ này cho phép bạn định hướng danh sách các đối thủ cạnh tranh của trang web mình, xem họ đang xếp hạng theo những truy vấn nào trong tìm kiếm và những quảng cáo nào của họ đang hiển thị theo các truy vấn đó. Cơ sở dữ liệu truy vấn lớn nhất trong phân khúc tiếng Nga với hơn 80 triệu từ khóa luôn sẵn sàng để sử dụng.

Tính năng của A-Parser cho phép lưu các cài đặt cào dữ liệu để sử dụng sau này (preset), thiết lập lịch trình cào dữ liệu và nhiều tính năng khác. Bạn có thể sử dụng tính năng tự động nhân bản truy vấn, thay thế các truy vấn phụ từ tệp, quét qua các tổ hợp chữ số và danh sách để thu được số lượng kết quả tối đa có thể.

Việc lưu kết quả có thể thực hiện dưới bất kỳ hình thức và cấu trúc nào bạn cần, nhờ vào bộ tạo mẫu mạnh mẽ tích hợp sẵn Template Toolkit cho phép áp dụng logic bổ sung cho kết quả và xuất dữ liệu ở nhiều định dạng khác nhau, bao gồm JSON, SQL và CSV.

Chuyển đến bản DEMOMua A-Parser Pro ($299)

Dữ liệu thu thập được

• Xếp hạng theo mức độ hiển thị trong phân khúc tiếng Nga
• Xếp hạng theo độ bao phủ từ khóa
• Số lượng trang trong TOP-50
• Lưu lượng truy cập từ tìm kiếm (Số lượng người dùng ước tính từ tìm kiếm tự nhiên mỗi ngày)
• Số lượng trang trong kết quả tìm kiếm
• Lưu lượng truy cập vào trang
• Số lượng truy vấn cho mỗi trang
• Đánh giá hiệu quả (Tỷ lệ phần trăm từ khóa từ TOP50 chiếm vị trí trong TOP5)
• Số lượng trang web của chủ sở hữu tên miền trong Adsense, Analytics, Leadia và Relap.io
• Số lượng tên miền phụ của chủ sở hữu tên miền
• Số lượng truy vấn trong top-1, top-3, top-5, top-10, top-50
• Các trang trong kết quả tìm kiếm tự nhiên (nhận liên kết đến trang và số lượng từ khóa)
• Danh sách đối thủ cạnh tranh (liên kết đến tên miền, số lượng từ khóa chung, mức độ tương đồng của tên miền, lưu lượng truy cập Yandex)
• Các cụm từ khóa (truy vấn, tần suất, vị trí)

Đối với các trang web có quảng cáo ngữ cảnh:

• Lưu lượng truy cập ngữ cảnh (Ước tính lưu lượng truy cập từ quảng cáo ngữ cảnh mà không tính đến bất kỳ mục tiêu nào. Tích của tần suất chính xác với dự báo CTR, chia cho 30 ngày)
• Ước tính ngân sách (Ước tính ngân sách mà không tính đến bất kỳ mục tiêu nào. Tích của tần suất chính xác với dự báo CTR và chi phí mỗi lần nhấp chuột)
• Số lượng quảng cáo trong ngữ cảnh
• Số lượng truy vấn trong ngữ cảnh
• Số lượng truy vấn cho mỗi quảng cáo
• Quảng cáo trong ngữ cảnh (Quảng cáo và số lượng truy vấn)
• Đối thủ cạnh tranh trong ngữ cảnh (Tên miền, số lượng truy vấn chung, tổng số truy vấn, số lượng quảng cáo)
• Truy vấn của trang web trong ngữ cảnh (Truy vấn, tần suất, vị trí, vị trí hiển thị, giá mỗi lần nhấp chuột)

Tính năng

• Chọn khu vực kết quả tìm kiếm cho Google và Yandex
• Cào dữ liệu với xác thực (thông qua việc thay thế cookie)

Ứng dụng

• Lấy xếp hạng theo mức độ hiển thị trong phân khúc tiếng Nga, theo độ bao phủ từ khóa
• Lấy lượng lưu lượng truy cập vào trang
• Lấy số lượng truy vấn trong top-1, top-3, top-5, top-10, top-50
• Tìm kiếm đối thủ cạnh tranh của trang web
• Lấy danh sách các truy vấn mà trang web được xếp hạng trong tìm kiếm
• Lấy các quảng cáo ngữ cảnh của trang web
• Lấy danh sách đối thủ cạnh tranh trong quảng cáo ngữ cảnh
• Thu thập dữ liệu theo kết quả tìm kiếm khu vực cho Google và Yandex

Truy vấn

Trong phần truy vấn, bạn cần chỉ định tên miền, ví dụ:

a-parser.com

Các ví dụ xuất kết quả

A-Parser hỗ trợ định dạng kết quả linh hoạt nhờ bộ tạo mẫu tích hợp Template Toolkit, cho phép xuất kết quả dưới dạng tùy ý cũng như dưới dạng cấu trúc như CSV hoặc JSON

Xuất mặc định

Định dạng kết quả:

Query - $query, By vision in runet - $by_vis, By keys - $by_keys, Requests in top 50 - $in_top50,  Search traf - $search_traff\n

Ví dụ kết quả:

Query - a-parser.com, By vision in runet - 104606, By keys - 197798, Requests in top 50 - 1540,  Search traf - 57

Xuất danh sách đối thủ cạnh tranh

Định dạng kết quả:

$comp_keys.format('$links, $total_keys, $similarity, $traff_y\n')

Ví dụ kết quả:

http://youtube.com, 1360, 0.00, 8286326
http://habr.com, 1174, 0.04, 116283
http://vc.ru, 1172, 0.06, 40749
http://zen.yandex.ru, 923, 0.00, 5944772
http://spark.ru, 870, 0.33, 2062
http://zennolab.com, 828, 2.78, 216
http://web-data-extractor.net, 819, 35.11, 53

Xuất danh sách đối thủ cạnh tranh ra CSV

Định dạng kết quả:

[% FOREACH comp_keys;
  tools.CSVline(links, total_keys, similarity, traff_y);
END %]

Ví dụ kết quả:

http://vk.com,5316893,12.18,8682202
http://youla.ru,5222139,84.47,231703
http://moskva.tiu.ru,4812708,59.84,323103
http://youtube.com,4543041,8.27,8286326
http://moskva.regmarkets.ru,4106292,61.62,13983
http://ozon.ru,3783344,46.81,580266

Dump danh sách đối thủ cạnh tranh ra JSON

Định dạng kết quả chung:

[% IF notFirst;
  ",\n";
ELSE;
  notFirst = 1;
END;

obj = {};
obj.query = query;
obj.competitors = [];

FOREACH item IN p1.comp_keys;
    obj.competitors.push({
        links = item.links
        total_keys = item.total_keys
        similarity = item.similarity
        traff_y = item.traff_y
    });
END;

obj.json %]

Văn bản bắt đầu:

[

Văn bản kết thúc:

]

Ví dụ kết quả:

[
    {
        "query": "avito.ru",
        "competitors": [
            {
                "traffic": "8682202",
                "similarity": "12.18",
                "total_keys": "5316893",
                "links": "http://vk.com"
            },
            {
                "traffic": "231703",
                "similarity": "84.47",
                "total_keys": "5222139",
                "links": "http://youla.ru"
            },
            {
                "traffic": "323103",
                "similarity": "59.84",
                "total_keys": "4812708",
                "links": "http://moskva.tiu.ru"
            }
        ]
    }
]

mẹo

Để các tùy chọn "Prepend text" và "Append text" hiển thị trong Trình chỉnh sửa tác vụ, bạn cần kích hoạt "More options".

Xuất danh sách các cụm từ khóa

Định dạng kết quả:

$key_phrases.format('$req, $base_freq, $va_freq, $pos\n')

Ví dụ kết quả:

a parser, 2870, 332, 1
a parser tải xuống torrent, 183, 181, 1
aparser, 435, 118, 1
a parser torrent, 285, 103, 1
a parser, 423, 101, 1
a parser com, 221, 87, 1
công cụ cào kết quả google, 66, 61, 1
trình kiểm tra vị trí hàng loạt a parser, 53, 52, 1

Xuất danh sách các cụm từ khóa ra CSV

Định dạng kết quả:

[% FOREACH key_phrases;
  tools.CSVline(req, base_freq, va_freq, pos);
END %]

Ví dụ kết quả:

"avito",59415062,9034027,1
"avito moscow",1782404,451582,1
"avito saint petersburg",634665,343183,1
avito,1207134,307012,1
"avito voronezh",629468,286035,1

Dump danh sách các cụm từ khóa ra JSON

Định dạng kết quả chung:

[% IF notFirst;
  ",\n";
ELSE;
  notFirst = 1;
END;

obj = {};
obj.query = query;
obj.phrases = [];

FOREACH item IN p1.key_phrases;
    obj.phrases.push({
        req = item.req
        base_freq = item.base_freq
        va_freq = item.va_freq
        pos = item.pos
    });
END;

obj.json %]

Văn bản bắt đầu:

[

Văn bản kết thúc:

]

Ví dụ kết quả:

[
    {
        "query": "avito.ru",
        "phrases": [
            {
                "base_freq": "59415062",
                "req": "avito",
                "va_freq": "9034027",
                "pos": "1"
            },
            {
                "base_freq": "1782404",
                "req": "avito moscow",
                "va_freq": "451582",
                "pos": "1"
            },
            {
                "base_freq": "634665",
                "req": "avito saint petersburg",
                "va_freq": "343183",
                "pos": "1"
            }
        ]
    }
]

mẹo

Để các tùy chọn "Prepend text" và "Append text" hiển thị trong Trình chỉnh sửa tác vụ, bạn cần kích hoạt "More options".

Xuất các trang trong kết quả tìm kiếm tự nhiên

Định dạng kết quả:

$organic_pages.format('$pages, $keys\n')

Ví dụ kết quả:

http://a-parser.com/, 315
http://a-parser.com/wiki/parsers/, 115
http://a-parser.com/a-parser-for-e-commerce/, 56
http://a-parser.com/wiki/js-parsers/, 44
http://a-parser.com/wiki/html-emailextractor/, 40
http://a-parser.com/resources/21/, 39
http://a-parser.com/threads/1809/, 35
http://a-parser.com/threads/4253/, 32

Xuất các trang trong kết quả tìm kiếm tự nhiên ra CSV

Định dạng kết quả:

[% FOREACH organic_page;
    tools.CSVline(pages, keys);
END %]

Ví dụ kết quả:

http://a-parser.com/, 315
http://a-parser.com/wiki/parsers/, 115
http://a-parser.com/a-parser-for-e-commerce/, 56
http://a-parser.com/wiki/js-parsers/, 44
http://a-parser.com/wiki/html-emailextractor/, 40
http://a-parser.com/resources/21/, 39
http://a-parser.com/threads/1809/, 35
http://a-parser.com/threads/4253/, 32

Dump các trang trong kết quả tìm kiếm tự nhiên ra JSON

Định dạng kết quả chung:

[% IF notFirst;
  ",\n";
ELSE;
  notFirst = 1;
END;

obj = {};
obj.query = query;
obj.organic = [];

FOREACH item IN p1.organic_pages;
    obj.organic.push({
        pages = item.pages
        keys = item.keys
    });
END;

obj.json %]

Văn bản bắt đầu:

[

Văn bản kết thúc:

]

Ví dụ kết quả:

[
    {
        "query": "avito.ru",
        "organic": [
            {
                "keys": "4652",
                "pages": "http://avito.ru/"
            },
            {
                "keys": "4563",
                "pages": "http://avito.ru/moskva/avtomobili"
            },
            {
                "keys": "4484",
                "pages": "http://avito.ru/moskva/kvartiry/sdam-ASgBAgICAUSSA8gQ"
            }
        ]
    }
]

mẹo

Để các tùy chọn "Prepend text" và "Append text" hiển thị trong Trình chỉnh sửa tác vụ, bạn cần kích hoạt "More options".

Xuất quảng cáo trong ngữ cảnh

Định dạng kết quả:

$ads_context.format('$aheader, $atext, $acount\n')

Ví dụ kết quả:

Sửa chữa PC và Laptop tại Moscow, tận nơi! Từ năm 2015 trên Avito – Trạng thái Đồng. Tiếp nhận yêu cầu 24/7! · Máy tính & Laptop. Máy tính bảng & Điện thoại thông minh. Router & WI - FI, 38658
Đặt phòng trên Avito. Đi du lịch cùng Avito, Khách sạn và nhà nghỉ - nhiều ưu đãi dành riêng cho bạn. Hiện đã có trên Avito., 20122
Tìm việc làm tại thành phố Moscow. Trên Avito Việc làm, Tuyển dụng mới nhất tại thành phố Moscow. Avito - dịch vụ rao vặt số 1 tại Nga!, 20110  

Xuất quảng cáo trong ngữ cảnh ra CSV

Định dạng kết quả:

[% FOREACH ads_context;
  tools.CSVline(aheader, atext, acount);
END %]

Ví dụ kết quả:

Sửa chữa PC và Laptop tại Moscow","tận nơi! Từ năm 2015 trên Avito – Trạng thái Đồng. Tiếp nhận yêu cầu 24/7! · Máy tính – Laptop. Máy tính bảng · Điện thoại thông minh. Router & WI - FI",38658&  & WI - FI",38658
"Đặt phòng trên Avito. Đi du lịch cùng Avito","Khách sạn và nhà nghỉ - nhiều ưu đãi dành riêng cho bạn. Hiện đã có trên Avito.",20122
"Tìm việc làm tại thành phố Moscow. Trên Avito Việc làm","Tuyển dụng mới nhất tại thành phố Moscow. Avito - dịch vụ rao vặt số 1 tại Nga!",20110№1  
"Chó trên Avito. Mua hoặc nhận nuôi miễn phí.","Hàng trăm nghìn tin rao. Thực hiện các giao dịch có lợi trên khắp nước Nga với sự trợ giúp của Avito!",17306

Dump quảng cáo trong ngữ cảnh ra JSON

Định dạng kết quả chung:

[% IF notFirst;
  ",\n";
ELSE;
  notFirst = 1;
END;

obj = {};
obj.query = query;
obj.ads = [];

FOREACH item IN p1.ads_context;
    obj.ads.push({
        header = item.aheader
        text = item.atext
        count = item.acount
    });
END;

obj.json %]

Văn bản bắt đầu:

[

Văn bản kết thúc:

]

Ví dụ kết quả:

[
    {
        "ads": [
            {
                "count": "38658",
                "text": "tận nơi! Từ năm 2015 trên Avito – Trạng thái Đồng. Tiếp nhận yêu cầu 24/7! · Máy tính – Laptop. Máy tính bảng · Điện thoại thông minh. Router & WI - FI&  & WI - FI",
                "header": "Sửa chữa PC và Laptop tại Moscow"
            },
            {
                "count": "20122",
                "text": "Khách sạn và nhà nghỉ - nhiều ưu đãi dành riêng cho bạn. Hiện đã có trên Avito.",
                "header": "Đặt phòng trên Avito. Đi du lịch cùng Avito"
            },
            {
                "count": "20110",
                "text": "Tuyển dụng mới nhất tại thành phố Moscow. Avito - dịch vụ rao vặt số 1 tại Nga!",№1  
                "header": "Tìm việc làm tại thành phố Moscow. Trên Avito Việc làm"
            }
        ],
        "query": "avito.ru"
    }
]

mẹo

Để các tùy chọn "Prepend text" và "Append text" hiển thị trong Trình chỉnh sửa tác vụ, bạn cần kích hoạt "More options".

Xuất đối thủ cạnh tranh trong ngữ cảnh

Định dạng kết quả:

$comp_context.format('$link, $common, $req, $ads\n')

Ví dụ kết quả:

http://uslugi.yandex.ru, 340399, 11188812, 30632
http://superjob.ru, 180179, 885168, 19065
http://mvideo.ru, 174070, 2840150, 344731
http://pleer.ru, 166815, 2577993, 238284
http://ru.jobsora.com, 124103, 596184, 99781
http://citilink.ru, 114529, 1903350, 94937
http://goods.ru, 113373, 2684645, 328750
http://pokupki.market.yandex.ru, 81527, 2657498, 326255

Xuất đối thủ cạnh tranh trong ngữ cảnh ra CSV

Định dạng kết quả:

[% FOREACH comp_context; 
    tools.CSVline(link, common, req, ads);
END %]

Ví dụ kết quả:

http://uslugi.yandex.ru, 340399, 11188812, 30632
http://superjob.ru, 180179, 885168, 19065
http://mvideo.ru, 174070, 2840150, 344731
http://pleer.ru, 166815, 2577993, 238284
http://ru.jobsora.com, 124103, 596184, 99781
http://citilink.ru, 114529, 1903350, 94937
http://goods.ru, 113373, 2684645, 328750
http://pokupki.market.yandex.ru, 81527, 2657498, 326255

Dump đối thủ cạnh tranh trong ngữ cảnh ra JSON

Định dạng kết quả chung:

[% IF notFirst;
  ",\n";
ELSE;
  notFirst = 1;
END;

obj = {};
obj.query = query;
obj.competitors = [];

FOREACH item IN p1.comp_context;
    obj.competitors.push({
        link = item.link
        common = item.common
        req = item.req
        ads = item.ads
    });
END;

obj.json %]

Văn bản bắt đầu:

[

Văn bản kết thúc:

]

Ví dụ kết quả:

[
    {
        "query": "avito.ru",
        "competitors": [
            {
                "ads": "30632",
                "link": "http://uslugi.yandex.ru",
                "req": "11188812",
                "common": "340399"
            },
            {
                "ads": "19065",
                "link": "http://superjob.ru",
                "req": "885168",
                "common": "180179"
            },
            {
                "ads": "344731",
                "link": "http://mvideo.ru",
                "req": "2840150",
                "common": "174070"
            },
            
        ]
    }
]

mẹo

Để các tùy chọn "Prepend text" và "Append text" hiển thị trong Trình chỉnh sửa tác vụ, bạn cần kích hoạt "More options".

Xuất các truy vấn của trang web trong ngữ cảnh

Định dạng kết quả:

$wreq_context.format('$request, $freq, $va_freq, $pos, $placement, $price\n')

Ví dụ kết quả:

việc làm tại chelyabinsk, 202530, 40163, 3, Đặc biệt, 4
đại số lớp 8 dorofeev, 217307, 18467, 2, Đảm bảo, 2
far cry 3, 113266, 23218, 5, Đảm bảo, 3
việc làm tại barnaul, 128775, 26402, 3, Đặc biệt, 4
harry potter và phòng chứa bí mật phim 2002, 36482, 30450, 2, Đảm bảo, 5
mazda 6, 554463, 25248, 6, Đảm bảo, 19
assassin s creed, 535915, 29419, 5, Đảm bảo, 5
avito ryazan, 325994, 137938, 3, Đảm bảo, 13

Xuất các truy vấn của trang web trong ngữ cảnh ra CSV

Định dạng kết quả:

[% FOREACH wreq_context;
    tools.CSVline(request, freq, va_freq, pos, placement, price);
END %]

Ví dụ kết quả:

"việc làm tại chelyabinsk",202530,40163,3,"Đặc biệt",4
"đại số lớp 8 dorofeev",217307,18467,2,"Đảm bảo",2
"far cry 3",113266,23218,5,"Đảm bảo",3
"việc làm tại barnaul",128775,26402,3,"Đặc biệt",4
"harry potter và phòng chứa bí mật phim 2002",36482,30450,2,"Đảm bảo",5
"mazda 6",554463,25248,6,"Đảm bảo",19
"assassin s creed",535915,29419,5,"Đảm bảo",5
"avito ryazan",325994,137938,3,"Đảm bảo",13
"avito vùng ryazan",72077,19586,2,"Đảm bảo",20

Dump các truy vấn của trang web trong ngữ cảnh ra JSON

Định dạng kết quả chung:

[% IF notFirst;
  ",\n";
ELSE;
  notFirst = 1;
END;

obj = {};
obj.query = query;
obj.wreq = [];

FOREACH item IN p1.wreq_context;
    obj.wreq.push({
        request = item.request
        freq = item.freq
        va_freq = item.va_freq
        pos = item.pos
        placement = item.placement
        price = item.price
    });
END;

obj.json %]

Văn bản bắt đầu:

[

Văn bản kết thúc:

]

Ví dụ kết quả:

[
    {
        "query": "avito.ru",
        "wreq": [
            {
                "request": "việc làm tại chelyabinsk",
                "placement": "Đặc biệt",
                "freq": "202530",
                "va_freq": "40163",
                "price": "4",
                "pos": "3"
            },
            {
                "request": "đại số lớp 8 dorofeev",
                "placement": "Đảm bảo",
                "freq": "217307",
                "va_freq": "18467",
                "price": "2",
                "pos": "2"
            },
            {
                "request": "far cry 3",
                "placement": "Đảm bảo",
                "freq": "113266",
                "va_freq": "23218",
                "price": "3",
                "pos": "5"
            }
        ]
    }
]

mẹo

Để các tùy chọn "Prepend text" và "Append text" hiển thị trong Trình chỉnh sửa tác vụ, bạn cần kích hoạt "More options".

Các thiết lập có thể có

ghi chú

Cài đặt chung cho tất cả các công cụ cào dữ liệu

Tham số	Giá trị mặc định	Mô tả
Search DB	Yandex Moscow	Chọn cơ sở dữ liệu tìm kiếm
Cookie "userlogin="		Trong trường này, bạn cần chỉ định giá trị của cookie userlogin, lấy từ trình duyệt sau khi đăng nhập