Chuyển đến nội dung chính

Danh sách thuật ngữ

Công cụ cào dữ liệu

Công cụ cào dữ liệu - là một tập lệnh thu thập dữ liệu từ các tài nguyên web được chỉ định theo các truy vấn nhất định, xử lý chúng và xuất kết quả ở định dạng mặc định hoặc định dạng được chỉ định.

Công cụ cào dữ liệu tích hợp

Công cụ cào dữ liệu tích hợp - là các công cụ cào dữ liệu được cài đặt sẵn, có sẵn ngay từ đầu và khả năng hoạt động của chúng được duy trì liên tục.

Công cụ cào dữ liệu JS tùy chỉnh

Công cụ cào dữ liệu JS tùy chỉnh - là các công cụ cào dữ liệu mã nguồn mở được viết bằng JavaScript và có sẵn trong Trình chỉnh sửa công cụ cào dữ liệu JS, có thể được xuất và nhập cùng với tác vụ. Ví dụ về các công cụ cào dữ liệu này có thể được tìm thấy trong Danh mục công cụ cào dữ liệu và mẫu thiết lập.

Mẫu thiết lập

Mẫu thiết lập - vừa là một tác vụ đã lưu được tạo trong Trình chỉnh sửa tác vụ bằng cách chọn tổ hợp các công cụ cào dữ liệu, cài đặt và tùy chọn để thực hiện công việc, vừa là cài đặt của một công cụ cào dữ liệu riêng lẻ (mẫu thiết lập cài đặt).

Cài đặt công cụ cào dữ liệu

Cài đặt công cụ cào dữ liệu - là các tùy chọn có thể được chỉnh sửa hoặc thay đổi (ghi đè) cho một thuật toán hoạt động khác của công cụ cào dữ liệu để nhận được kết quả không tiêu chuẩn.

Tác vụ đã lưu

Tác vụ đã lưu - là một mẫu thiết lập đã được lưu và có thể được sử dụng lại.

Cấu hình luồng

Cấu hình luồng - là tập hợp các cài đặt luồng có thể được lưu dưới một tên và sử dụng lại với các mẫu thiết lập khác nhau.

Luồng

Luồng - là tập hợp nhiều ngữ cảnh được chạy đồng thời để cào dữ liệu, trong đó công cụ cào dữ liệu thực hiện song song các truy vấn, luân chuyển Proxy theo một chiến lược nhất định được xác định trong Cấu hình luồng, và ghi nhật ký quá trình thực hiện cào dữ liệu cho mỗi truy vấn.

Trình kiểm tra Proxy

Trình kiểm tra Proxy - là bộ điều khiển chịu trách nhiệm tải và kiểm tra Proxy, sử dụng tập hợp các cài đặt của trình kiểm tra Proxy.

Proxy

Proxy - là một chuỗi/mảng các chuỗi có định dạng nhất định (hoặc liên kết đến chuỗi/mảng các chuỗi), cho phép ẩn địa chỉ IP thực bằng cách gửi các yêu cầu trong quá trình cào dữ liệu và truyền các gói dữ liệu từ máy chủ đến máy khách thông qua một máy chủ proxy trung gian.

Mẫu kết quả

Mẫu kết quả - là một mẫu xác định định dạng và dữ liệu kết quả được thu thập, được thiết lập trực tiếp hoặc thông qua công cụ tạo mẫu tích hợp Template Toolkit.