SE::Google::Suggest - Công cụ cào dữ liệu gợi ý tìm kiếm Google
Tổng quan về công cụ cào dữ liệu
Công cụ cào dữ liệu gợi ý tìm kiếm theo từ khóa trên Google. Nhờ công cụ cào dữ liệu SE::Google::Suggest, bạn có thể tự động thu thập cơ sở dữ liệu từ khóa từ các gợi ý của công cụ tìm kiếm Google theo truy vấn. Sử dụng công cụ cào dữ liệu SE::Google::Suggest, bạn có thể dễ dàng và nhanh chóng cào dữ liệu gợi ý của Google theo truy vấn dựa trên quốc gia, ngôn ngữ hoặc tên miền đã chọn.
Công cụ cào dữ liệu Google Suggest giải quyết một trong những nhiệm vụ chính của SEO, cụ thể là thu thập nhanh chóng và tự động bộ từ khóa mở rộng. Các gợi ý tìm kiếm của Google cho phép bao phủ số lượng cụm từ tối đa, và khi kết hợp với công cụ cào dữ liệu Từ khóa Google - 
SE::Google::KeywordPlanner, bạn sẽ nhận được bộ từ khóa toàn diện nhất, giúp thu hút nhiều lưu lượng truy cập tự nhiên hơn.
Nhờ khả năng hoạt động đa luồng của A-Parser, tốc độ xử lý truy vấn có thể đạt tới 6000 truy vấn mỗi phút, cho phép nhận trung bình từ 45000-46000 kết quả mỗi phút.
Bạn có thể sử dụng tính năng tự động nhân bản truy vấn, thay thế truy vấn con từ tệp, lặp qua các tổ hợp chữ-số và danh sách để nhận được số lượng kết quả tối đa có thể. Sử dụng lọc kết quả, bạn có thể làm sạch kết quả ngay lập tức bằng cách loại bỏ tất cả rác không cần thiết (sử dụng từ khóa loại trừ).
Chức năng của A-Parser cho phép lưu các cài đặt cào dữ liệu của công cụ cào dữ liệu SE::Google::Suggest để sử dụng sau này (preset), thiết lập lịch trình cào dữ liệu và nhiều tính năng khác.
Việc lưu kết quả có thể thực hiện theo bất kỳ hình thức và cấu trúc nào bạn cần, nhờ vào bộ tạo mẫu mạnh mẽ tích hợp sẵn Template Toolkit, cho phép áp dụng logic bổ sung cho kết quả và xuất dữ liệu ở nhiều định dạng khác nhau, bao gồm JSON, SQL và CSV.
Các trường hợp ứng dụng công cụ cào dữ liệu
🔗 JS::Google::FromSnippets
Ví dụ về cách làm việc trong công cụ cào dữ liệu JS với các công cụ cào dữ liệu tích hợp sẵn
Dữ liệu thu thập được
- Số lượng kết quả theo truy vấn
- Các gợi ý cho truy vấn
- Loại gợi ý (0 - từ người dùng, 1 - nhân tạo)
Tính năng
- Hỗ trợ chọn quốc gia tìm kiếm, tên miền, ngôn ngữ kết quả
- Khả năng chọn nguồn cần sử dụng để thu thập gợi ý (tùy chọn Client)
- Khả năng xóa thẻ HTML khỏi kết quả cào dữ liệu (tùy chọn Remove HTML tags)
Các biến thể sử dụng
- Thu thập cơ sở dữ liệu từ khóa
Truy vấn
Trong phần truy vấn, bạn cần chỉ định các cụm từ tìm kiếm, ví dụ:
write essay
Football
Waterfall
Speak in english
Cats and dogs
forex
cheap essay
Thay thế truy vấn
Bạn có thể sử dụng các macro tích hợp sẵn để tự động thay thế các truy vấn con từ tệp, ví dụ: chúng ta muốn thêm một danh sách các từ khác vào mỗi truy vấn, hãy chỉ định một vài truy vấn chính:
essay
article
thesis
Trong định dạng truy vấn, chúng ta chỉ định macro thay thế các từ bổ sung từ tệp Keywords.txt, phương pháp này cho phép tăng khả năng biến đổi của các truy vấn lên nhiều lần:
{subs:Keywords} $query
Macro này sẽ tạo ra số lượng truy vấn bổ sung tương ứng với số lượng từ có trong tệp cho mỗi truy vấn tìm kiếm gốc, tổng cộng sẽ là [số lượng truy vấn gốc (tên miền)] x [số lượng truy vấn trong tệp Keywords] = [tổng số lượng truy vấn] sau khi macro hoạt động.
Ví dụ, nếu tệp Keywords.txt chứa:
buy
cheap
Kết quả là macro thay thế sẽ biến 3 truy vấn chính thành 6:
buy essay
cheap essay
buy article
cheap article
buy thesis
cheap thesis
Các biến thể xuất kết quả
A-Parser hỗ trợ định dạng kết quả linh hoạt nhờ bộ tạo mẫu tích hợp Template Toolkit, cho phép xuất kết quả dưới dạng tùy ý cũng như có cấu trúc, ví dụ như CSV hoặc JSON
Xuất danh sách gợi ý
Định dạng kết quả:
$results.format('$suggest\n')
Ví dụ kết quả:
buy essays online
buy essay cheap
buy essay uk
buy essays online no plagiarism
buy essay papers
buy essay online reviews
buy essays reddit
buy essay friend
Xuất truy vấn, gợi ý theo truy vấn + loại gợi ý
Định dạng kết quả:
$query:\n$results.format('$suggest - $type\n')
Ví dụ kết quả:
cheap essay:
cheap essay writing service - 1
cheap essay writing service uk - 1
cheap essay writing service canada - 1
cheap essay writing 24 - 1
cheap essays online - 1
cheap essay writing service reddit - 1
cheap essay writing service australia - 1
cheap essay writing service review - 1
buy essay:
buy essay online - 1
buy essay cheap - 1
buy essay uk - 1
buy essay papers - 1
buy essay online reviews - 1
buy essays reddit - 1
buy essay friend - 1
buy essay online uk - 1
Xuất ra bảng CSV
Tiện ích tích hợp $tools.CSVLine cho phép tạo các tài liệu bảng chính xác, sẵn sàng để nhập vào Excel hoặc Google Sheets.
Định dạng kết quả chung:
[% FOREACH i IN p1.results;
tools.CSVline(i.suggest);
END %]
Tên tệp:
$datefile.format().csv
Văn bản bắt đầu:
Gợi ý
Trong Định dạng kết quả chung, bộ tạo mẫu Template Toolkit được áp dụng để xuất các phần tử của mảng $results trong vòng lặp FOREACH.
Trong tên tệp kết quả, bạn chỉ cần thay đổi phần mở rộng tệp thành csv.
Để tùy chọn "Prepend text" hiển thị trong Trình chỉnh sửa tác vụ, bạn cần kích hoạt "More options". Trong "Prepend text", chúng ta ghi tên các cột cách nhau bằng dấu phẩy và để trống dòng thứ hai.
Cạnh tranh từ khóa
Tương tự như trong SE::Google.
Lưu ở định dạng SQL
Định dạng kết quả:
[% FOREACH results; "INSERT INTO serp VALUES('" _ query _ "', '"; suggest _ "', '"; type _ "')\n"; END %]
Ví dụ kết quả:
INSERT INTO serp VALUES('cheap essay', 'cheap essay writing service', '1')
INSERT INTO serp VALUES('cheap essay', 'cheap essay writing service uk', '1')
INSERT INTO serp VALUES('cheap essay', 'cheap essay writing service canada', '1')
INSERT INTO serp VALUES('cheap essay', 'cheap essay writing 24', '1')
INSERT INTO serp VALUES('buy essay', 'buy essay online', '1')
INSERT INTO serp VALUES('buy essay', 'buy essay cheap', '1')
INSERT INTO serp VALUES('buy essay', 'buy essay uk', '1')
INSERT INTO serp VALUES('buy essay', 'buy essay papers', '1')
...
Dump kết quả sang JSON
Định dạng kết quả chung:
[% IF notFirst;
",\n";
ELSE;
notFirst = 1;
END;
obj = {};
obj.totalcount = p1.totalcount;
obj.suggests = [];
FOREACH item IN p1.results;
obj.suggests.push(item.suggest);
END;
obj.json %]
Văn bản bắt đầu:
[
Văn bản kết thúc:
]
Ví dụ kết quả:
[{"suggests":["buy essay online","buy essay cheap","buy essay uk","buy essays online no plagiarism","buy essay papers","buy essay online reviews","buy essays reddit","buy essay friend"],"totalcount":8}]
Để các tùy chọn "Prepend text" và "Append text" hiển thị trong Trình chỉnh sửa tác vụ, bạn cần kích hoạt "More options".
Xử lý kết quả
A-Parser cho phép xử lý kết quả trực tiếp trong quá trình cào dữ liệu, trong phần này chúng tôi đưa ra các trường hợp phổ biến nhất cho công cụ cào dữ liệu SE::Google::Suggest
Tùy chọn Cào đến cấp độ (Parse to level)
Tùy chọn này chỉ định công cụ cào dữ liệu đưa các kết quả nhận được vào hàng đợi truy vấn theo chiều sâu đến cấp độ đã chỉ định, ví dụ:
- Nếu chỉ định cấp độ 1, công cụ cào dữ liệu sẽ thêm vào truy vấn tất cả các kết quả nhận được từ truy vấn gốc
- Nếu chỉ định cấp độ 2, công cụ cào dữ liệu sẽ thêm vào truy vấn tất cả các kết quả nhận được từ truy vấn gốc + tất cả các kết quả nhận được từ các truy vấn ở cấp độ 1
- và tiếp tục như vậy.
Nói một cách đơn giản - đây là việc đưa các kết quả nhận được vào hàng đợi truy vấn, điều này cho phép cào được nhiều kết quả hơn. Vì trong kết quả có khả năng sẽ có các bản trùng lặp, để công cụ cào dữ liệu không làm việc thừa (không cào cùng một thứ), chúng tôi khuyên bạn nên bật tính duy nhất của truy vấn (Unique queries)
Tải ví dụ
eJx9VE1v2zAM/SsGkcMGZEF72MW3NFiGDlmd1c0pyEGIaVerLHmSnDQw/N9HKo7t
bEFvpvj4+PFIN+CFe3Nriw69g3jbQBW+IYb0Wxx/N6ZQGMdpXRTofPQlWgvrMPIm
UnhAFeG7KCuFMIWKHZY5trdCCZFhLmpFXw34U4WUwlReGu3IJzMyA8WKeenlIFRN
mPu7doQ/oLUyw0tAZkoh9QCG4/E4K0Li2d6U8EFoMcoBm/Qj6OsYihra3W4KNCXq
xS2NLQVPa1Ldz7rR9c5UHPDFkDOXYUSXGLKeRMlsk0x4ZO8sD0SfPs/8OzOILJM8
G6HOGXiuQ9aNln9CNc5bqQvCk2kluqWlrmPwGEj48XSpcAuTYAPR1CH+1zkGYm9r
nIKjapeCasl6Ry6UI4/0aIU3Nunkihsweq5UkGqABfqHWqqM9mCeU9BjF3gbkvzH
0fYdjlORHEdLNfQswXpIfg5RmVmZghrXhtpWspSebLcwtWZt7ujxDbHqx/bEsNJY
7NN0zF12uocKNWs/qDavhqerNq6UuX7cG53LIun26YKs9QsdXaIXhk+H+9K1UqSK
w+dhQ+auk4GNocB/gxchBd/C5brAG6Pcj/RcamUlbeBXLrCkSY6zdpR7odTmeTX2
wLBRfFQ87gidEydguMfC0B5RM+2uv/v+F9LcvP64aUmm3259RnNPjKU3Go4jDejS
27/f2JZm
Lọc kết quả (sử dụng từ khóa loại trừ)
Bằng cách sử dụng từ khóa loại trừ, bạn có thể loại bỏ ngay các kết quả mà bạn không cần. Tương tự, bằng cách sử dụng bộ lọc, bạn có thể chỉ giữ lại những kết quả chứa các từ cần thiết.
Tải ví dụ
eJx9VE1vGjEQ/SvIQkojpSgcetkbQaFqRUMa4EQ4WOywceO1tx4vFBH+e2e83g9a
xG1n5r2ZNx/ro/AS3/HZAYJHkayOogjfIhHzxyT5am2mIUnmZZYB+t7n3hKhlytT
Ym9vXYriThTSITgmry5xCJHCVpaavo7CHwqg3Lbwyhpmq5TMkGIKO9Dk2UldEmZ4
f+rgd+CcSqEmpDaXyrRgsd/vB1koPNjYXFyhZp0aYjm/Bn3rQsF0oVulPTgK07S4
tWQVv7gnjJ2v7yJuUZEcGOtz6TdvnbwO0lT5D6U1ZFJ/YCGNQgZUMyLENYlb6yhh
FNEm7Ucxgyr+6aYfNb2+mptbcVqva+U4CQjmFMNBXH4TnMsdLGzVL7TuCVlPMg+V
UumBo3Wp24H/wxkkt0UNSF1V4ANpqy6N+h2UonfKZIQn0ynAiaP1JcJDSMLOQ61w
JfrB5rmWgf+z4ojEuxJo7qR2IklL2gS2UiNFFC1Beutm8e6So7BmpHW4uRYW0j+U
Sqd00KMtkb5F4mXI7L8cp6bDbila2t6RhlpoMB5mP1pSaqc2o76Npa61ypUnG8e2
NLyae3K+AxTN1J4YllsHTZUoLxanH7oAwwfSLm1UtK6zLs4Wc+7cWLNV2SweXY0s
zYJejZkZ27zQwG2ZUmtaCsJLeyAjjFtgoxX4L3kcSvA/Xb8Swlur8fu8klo4RQf4
hQXmNMhu1ZhyI7Vevky7EdEeFD8OPO4eIMqDYLiHzNIZUTOndfN+NW/g8eIrlhxP
tKZf+FyhuSfGko+Gg+FHHZ7+As4s2Yc=
Xem thêm: Bộ lọc kết quả
Các cài đặt có thể
| Tên tham số | Giá trị mặc định | Mô tả |
|---|---|---|
| Client | Chrome omnibox | Chọn nguồn cần sử dụng để thu thập gợi ý (Search page / Chrome omnibox) |
| Follow suggests | Human | Chọn loại gợi ý cần đưa vào truy vấn khi sử dụng Parser to level (All / Synthetic / Human) |
| Google domain | www.google.com | Chọn tên miền |
| Search from country | Global | Chọn quốc gia nơi thực hiện tìm kiếm |
| Interface language | English | Chọn ngôn ngữ giao diện |
| Remove HTML tags | ☑ | Xóa các thẻ HTML |