Rank::MajesticSEO - Công cụ cào dữ liệu số lượng backlink từ dịch vụ majesticseo.com
Tổng quan về công cụ cào dữ liệu
Công cụ cào dữ liệu Majestic là một trong những công cụ cào dữ liệu được săn đón nhất đối với các chuyên gia SEO vì nó cho phép lấy các chỉ số quan trọng như Trust Flow và Citation Flow. Với sự trợ giúp của công cụ cào dữ liệu Majestic đa luồng tự động, bạn có thể cào các dữ liệu sau: số lượng tên miền giới thiệu, backlink, số trang được lập chỉ mục.
Tính năng của A-Parser cho phép lưu các cài đặt cào dữ liệu để sử dụng sau này (preset), thiết lập lịch trình cào dữ liệu và nhiều tính năng khác.
Nhờ khả năng hoạt động đa luồng của A-Parser, tốc độ xử lý truy vấn có thể đạt tới 100 truy vấn mỗi phút chỉ với 50 luồng.
Việc lưu kết quả có thể thực hiện dưới bất kỳ hình thức và cấu trúc nào bạn cần, nhờ vào bộ máy tạo mẫu mạnh mẽ được tích hợp sẵn Template Toolkit cho phép áp dụng logic bổ sung cho kết quả và xuất dữ liệu ở nhiều định dạng khác nhau, bao gồm JSON, SQL và CSV.
Dữ liệu thu thập
Dữ liệu được thu thập từ dịch vụ www.majesticseo.com
- Số lượng tên miền giới thiệu
- Số lượng backlink
- Số lượng trang được lập chỉ mục
- Các chỉ số Trust Flow và Citation Flow
Ứng dụng
- Lấy thông tin tổng hợp về tên miền
- Đánh giá số lượng liên kết ngược
- Đánh giá lưu lượng truy cập trên tên miền
Truy vấn
Trong phần truy vấn, bạn cần chỉ định danh sách các tên miền, ví dụ:
a-parser.com
yandex.ru
google.com
vk.com
facebook.com
youtube.com
Các tùy chọn xuất kết quả
A-Parser hỗ trợ định dạng kết quả linh hoạt nhờ bộ máy tạo mẫu tích hợp Template Toolkit, cho phép nó xuất kết quả dưới dạng tùy ý cũng như có cấu trúc, ví dụ CSV hoặc JSON
Xuất danh sách kết quả mặc định
Định dạng kết quả:
$query - domains: $domains, backlinks: $backlinks, trust: $trustflow, citation: $citationflow, indexed: $indexed\n
Kết quả hiển thị tên miền, số lượng backlink, số lượng địa chỉ IP giới thiệu, trust, citation, số trang được lập chỉ mục.
Ví dụ kết quả:
facebook.com - domains: 28384898, backlinks: 83357892873, trust: 99, citation: 99, indexed: 6743835203
a-parser.com - domains: 380, backlinks: 90219, trust: 12, citation: 38, indexed: 16121
yandex.ru - domains: 592182, backlinks: 1751277762, trust: 88, citation: 82, indexed: 92468056
google.com - domains: 21134537, backlinks: 32206959211, trust: 100, citation: 100, indexed: 3278520318
vk.com - domains: 1145676, backlinks: 3235015237, trust: 90, citation: 85, indexed: 372205938
...
Xuất ra bảng CSV
Tiện ích tích hợp $tools.CSVLine cho phép tạo các tài liệu bảng chính xác, sẵn sàng để nhập vào Excel hoặc Google Sheets.
Định dạng kết quả:
[% tools.CSVline(query.orig,domains,trustflow,citationflow,indexed) %]
Tên tệp:
$datefile.format().csv
Văn bản bắt đầu:
Tên miền,Tên miền giới thiệu,Trust,Citation,Lập chỉ mục
Ví dụ kết quả:
Tên miền,Tên miền giới thiệu,Trust,Citation,Lập chỉ mục
a-parser.com,380,12,38,16121
yandex.ru,592182,88,82,92468056
vk.com,1145676,90,85,372205938
facebook.com,28384898,99,99,6743835203
google.com,21134537,100,100,3278520318
Trong Định dạng kết quả, bộ máy tạo mẫu Template Toolkit được sử dụng để xuất kết quả.
Trong tên tệp kết quả, bạn chỉ cần thay đổi phần mở rộng tệp thành csv.
Để tùy chọn "Prepend text" hiển thị trong Trình chỉnh sửa tác vụ, bạn cần kích hoạt "More options". Trong "Prepend text", chúng ta ghi tên các cột cách nhau bằng dấu phẩy và để dòng thứ hai trống.
Lưu dưới định dạng SQL
Định dạng kết quả:
INSERT INTO serp VALUES('$query.orig', '$domains', '$backlinks', '$trustflow', '$citationflow', '$indexed')\n
Ví dụ kết quả:
INSERT INTO serp VALUES('google.com', '21134537', '32206959211', '100', '100', '3278520318')
INSERT INTO serp VALUES('vk.com', '1145676', '3235015237', '90', '85', '372205938')
INSERT INTO serp VALUES('yandex.ru', '592182', '1751277762', '88', '82', '92468056')
INSERT INTO serp VALUES('a-parser.com', '380', '90219', '12', '38', '16121')
INSERT INTO serp VALUES('facebook.com', '28384898', '83357892873', '99', '99', '6743835203')
Xuất kết quả sang JSON
Định dạng kết quả chung:
[% IF notFirst;
",\n";
ELSE;
notFirst = 1;
END;
obj = {};
obj.query = p1.query.orig;
obj.indexed = p1.indexed;
obj.domains = p1.domains;
obj.citationflow = p1.citationflow;
obj.trustflow = p1.trustflow;
obj.backlinks = p1.backlinks;
obj.json %]
Văn bản bắt đầu:
[
Văn bản kết thúc:
]
Ví dụ kết quả:
[
{"indexed":"372205938","domains":"1145676","citationflow":"85","query":"vk.com","trustflow":"90","backlinks":"3235015237"},
{"indexed":"92468056","domains":"592182","citationflow":"82","query":"yandex.ru","trustflow":"88","backlinks":"1751277762"},
{"indexed":"6743835203","domains":"28384898","citationflow":"99","query":"facebook.com","trustflow":"99","backlinks":"83357892873"},
{"indexed":"3278520318","domains":"21134537","citationflow":"100","query":"google.com","trustflow":"100","backlinks":"32206959211"},
{"indexed":"16121","domains":"380","citationflow":"38","query":"a-parser.com","trustflow":"12","backlinks":"90219"}
]
Để các tùy chọn "Prepend text" và "Append text" hiển thị trong Trình chỉnh sửa tác vụ, bạn cần kích hoạt "More options".
Xử lý kết quả
A-Parser cho phép xử lý kết quả trực tiếp trong quá trình cào dữ liệu, trong phần này chúng tôi đưa ra các trường hợp phổ biến nhất cho công cụ cào dữ liệu Rank::MajesticSEO
Lưu các tên miền với chỉ số trust mong muốn
Thêm bộ lọc và trong danh sách thả xuống chọn biến giá trị kiểm tra $trustflow - Trust flow. Chọn loại, ví dụ: >. Tiếp theo, trong phần Number (Số), hãy nhập giá trị bạn cần, ví dụ 10. Với bộ lọc này, bạn có thể loại bỏ tất cả các kết quả có giá trị Trust flow nhỏ hơn 10.
Tải xuống ví dụ
eJx9VFFP20AM/ivRCaRNggoe9lK0SQWt0iagDMpT24cjcbqjl3O4u5RWUf479iW9
tMD21Nr+7LM/f3EtvHQrd2fBgXdiOKtFGf6LobiXZjUc3shncF6lDz8nyWkyVtqD
TWAji1KDOBGltA4sZ84+JlA8g1xW2ouTWvhtCVQW12CtyjhZZWSXFjdbC94qcORb
S10x7PzsTDT/zgruHm0R/f/g6V+LxV6CtxXswfMwFoVpdu6W6tvK+VzjKznb6LSF
/jjokQwsvUJDlgPjRLNY7Kq4MdpCcrHZcZJJL5PvSd1cJMncsDV4qcBuyVeet38H
aNXyYhfNsJDKuDbeGTH4JNOVVmbVhaMZAbH9FhDNCEiVl9x3j9n3RJgyGWwgaxGd
wcHjxVGIPzs087mJzLkHuYYptpRC7ybdwK0smDROBI4O8sDPl68DvyGBCJllihuQ
uiWORdWT+WjUSyDdIGGZMNLLmLbKy4JQILC4I30mjoItqEQVcv+0OWKYS+3gRDhq
dSypkex9RNG6pUc7Caslfy3QjLS+hjXoHhbqX1ZKZ/QFjHJK+tUlfg6ZfKjRxPH2
nyLtvlrqIVYJ1uXkps/K8BqXNHn2RHNrVShPtrvCyrDeWJYrgDJydsucFWghPtNV
7l6n778Ewx9Kv7JR2bsOxjhYy6EzJfmo5aT7+HbIykzpyEzMFfLR4LlMpTWtxcF9
L4+R69bARt/g++Sr8ASPvrsswiNq9/uhbbW0iuT3jRssiMn9V7uSqdT68f56PyJ6
SZEhT9urNkixmJutZNkPbDU3S8Ql6Ta416v2N5cpPCF2luDyHpZIwqPhm0W8kPHE
1p/cyWHd0FKf3V2LZQYYST6i0oXzct68AXxQ/Fc=
Xem thêm: Bộ lọc kết quả
Các cài đặt khả dụng
| Tên tham số | Giá trị mặc định | Mô tả |
|---|---|---|
| Check type | Root domain | Cho phép chọn loại kiểm tra: Root Domain / Subdomain / URL |
| Use Chrome (Slow) | ☐ | Chỉ định sử dụng trình duyệt Chrome cho tất cả các truy vấn |
| Use Headless mode for Chrome | ☑ | Sử dụng chế độ Headless cho các truy vấn qua trình duyệt |
| Use Stealth mode for Chrome | ☐ | Che giấu việc sử dụng trình duyệt khi thực hiện truy vấn qua trình duyệt |
| Use HTTP2 for requests without Chrome | ☐ | Sử dụng HTTP/2 cho các truy vấn không qua trình duyệt |
| Emulate browser headers for requests without Chrome | ☐ | Mô phỏng tiêu đề trình duyệt cho các truy vấn không qua trình duyệt |
| User-agent for requests without Chrome | [% tools.ua.random() %] | Ghi đè user-agent cho các truy vấn không qua trình duyệt |
| Additional headers for requests without Chrome | Accept, Accept-Encoding, Accept-Language | Cho phép thiết lập tiêu đề cho các truy vấn không qua trình duyệt. Hoạt động tương tự như Additional headers trong  Net::HTTP. |