Chuyển đến nội dung chính

SE::Baidu - Công cụ cào dữ liệu kết quả tìm kiếm Baidu

img

Tổng quan về công cụ cào dữ liệu​

Công cụ cào dữ liệu kết quả tìm kiếm Baidu. Nhờ có công cụ cào dữ liệu Baidu, bạn có thể nhận được cơ sở dữ liệu liên kết khổng lồ, sẵn sàng để sử dụng tiếp. Bạn có thể sử dụng các truy vấn ở cùng định dạng mà bạn nhập vào thanh tìm kiếm Bing, bao gồm cả các toán tử tìm kiếm (filetype, site, intitle).

Tính năng của A-Parser cho phép lưu các cài đặt cào dữ liệu của công cụ cào dữ liệu Baidu để sử dụng sau này (mẫu thiết lập sẵn), đặt lịch trình cào dữ liệu và nhiều tính năng khác. Bạn có thể sử dụng tính năng tự động nhân bản truy vấn, thay thế truy vấn phụ từ tệp, lặp qua các tổ hợp chữ cái-số và danh sách để nhận được số lượng kết quả tối đa có thể.

Trong công cụ cào dữ liệu Baidu, việc lưu kết quả có thể thực hiện theo định dạng và cấu trúc mà bạn cần, nhờ vào bộ tạo mẫu mạnh mẽ tích hợp Template Toolkit cho phép áp dụng logic bổ sung cho kết quả và xuất dữ liệu ở các định dạng khác nhau, bao gồm JSON, SQL và CSV.

Các trường hợp ứng dụng công cụ cào dữ liệu​

Dữ liệu thu thập được​

  • Liên kết
  • Đoạn trích (Snippets)
  • Văn bản neo (Anchors)
  • Tổng số lượng kết quả
  • Danh sách các từ khóa liên quan
  • Số lượng trang kết quả
Dữ liệu thu thập được

Tính năng​

  • Cào dữ liệu lên đến 5000 kết quả cho mỗi truy vấn
  • Hỗ trợ tất cả các toán tử tìm kiếm của Baidu (filetype:, site:, intitle:).
  • Thu thập kết quả theo truy vấn và các từ khóa liên quan
  • Chuyển đổi các liên kết rút gọn thành liên kết đầy đủ (tùy chọn Get full links)

Các tình huống sử dụng​

  • Thu thập cơ sở dữ liệu liên kết - cho A-Poster, XRumer, AllSubmitter, v.v.
  • Đánh giá mức độ cạnh tranh của từ khóa
  • Kiểm tra tình trạng lập chỉ mục của trang web
  • Thu thập các trang có chứa từ khóa chỉ định trong tiêu đề trang

Truy vấn​

Trong phần truy vấn, bạn cần chỉ định các cụm từ tìm kiếm, ví dụ:

test
site:www.baidu.com  
百度产品大全
intitle:công cụ cào dữ liệu

Thay thế truy vấn​

Bạn có thể sử dụng các macro tích hợp để nhân bản truy vấn, ví dụ: chúng ta muốn có một cơ sở dữ liệu diễn đàn rất lớn, hãy chỉ định một vài truy vấn chính bằng các ngôn ngữ khác nhau:

forum
diễn đàn
foro
论坛

Trong định dạng truy vấn, chúng ta chỉ định việc lặp ký tự từ a đến zzzz, phương pháp này cho phép xoay vòng kết quả tìm kiếm tối đa và nhận được nhiều kết quả mới duy nhất:

$query {az:a:zzzz}

Macro này sẽ tạo ra 475254 truy vấn bổ sung cho mỗi truy vấn tìm kiếm gốc, tổng cộng sẽ cho ra 4 x 475254 = 1901016 truy vấn tìm kiếm, một con số ấn tượng, nhưng điều này hoàn toàn không phải là vấn đề đối với A-Parser. Với tốc độ 2000 truy vấn mỗi phút, tác vụ này sẽ được xử lý chỉ trong khoảng 16 giờ.

Sử dụng toán tử​

Bạn có thể sử dụng các toán tử tìm kiếm trong định dạng truy vấn, theo cách này nó sẽ tự động được thêm vào mỗi truy vấn từ danh sách của bạn:

site:$query

Các ví dụ về định dạng kết quả đầu ra​

A-Parser hỗ trợ định dạng kết quả linh hoạt nhờ bộ tạo mẫu tích hợp Template Toolkit, cho phép xuất kết quả ở dạng tùy ý, cũng như ở dạng có cấu trúc như CSV hoặc JSON

Xuất danh sách liên kết​

Tương tự như trong SE::Google.

Tương tự như trong SE::Google.

Tương tự như trong SE::Google.

Tương tự như trong SE::Google.

Cạnh tranh từ khóa​

Tương tự như trong SE::Google.

Kiểm tra lập chỉ mục liên kết​

Tương tự như trong SE::Google.

Lưu ở định dạng SQL​

Tương tự như trong SE::Google.

Xuất kết quả sang JSON​

Tương tự như trong SE::Google.

Xử lý kết quả​

A-Parser cho phép xử lý kết quả trực tiếp trong quá trình cào dữ liệu, trong phần này chúng tôi đưa ra các trường hợp phổ biến nhất cho công cụ cào dữ liệu Baidu

Tương tự như trong SE::Google.

Tương tự như trong SE::Google.

Trích xuất tên miền​

Tương tự như trong SE::Google.

Loại bỏ thẻ khỏi văn bản neo và đoạn trích​

Tương tự như trong SE::Google.

Tương tự như trong SE::Google.

Các cài đặt có thể có​

ghi chú

Cài đặt chung cho tất cả các công cụ cào dữ liệu

Tên tham sốGiá trị mặc địnhMô tả
Pages count5Số lượng trang để cào dữ liệu (từ 1 đến 100)
Links per page50Số lượng liên kết trong kết quả cho mỗi trang (10 / 20 / 50)
Get full links☐Chuyển đổi các liên kết rút gọn thành liên kết đầy đủ (mặc định bị tắt)