Shop::Yandex::Market - Công cụ cào dữ liệu sản phẩm từ Yandex.Market
Tổng quan về công cụ cào dữ liệu
Sử dụng công cụ cào dữ liệu sản phẩm Yandex market, bạn có thể nhận dữ liệu từ thẻ sản phẩm, thu thập cơ sở dữ liệu liên kết sản phẩm, theo dõi biến động giá sản phẩm, thay đổi số lượng người bán, thu thập xếp hạng và số lượng đánh giá sản phẩm, thu thập hình ảnh sản phẩm
Tính năng của A-Parser cho phép lưu các cài đặt cào dữ liệu để sử dụng sau này (preset), thiết lập lịch trình cào dữ liệu và nhiều tính năng khác. Bạn có thể sử dụng tính năng tự động nhân bản truy vấn, thay thế truy vấn con từ tệp, quét các tổ hợp chữ-số và danh sách để nhận được số lượng kết quả tối đa có thể
Dữ liệu thu thập được
- Tên sản phẩm
- Liên kết sản phẩm
- Hình ảnh sản phẩm
- Giá và giá cũ
- Tiền tệ
- Xếp hạng và số lượng bình luận
- Số lượng người bán
- Thông tin bổ sung
- Số lượng mua và lượt xem sản phẩm
Ứng dụng
- Thu thập liên kết sản phẩm
- Đánh giá mức độ phổ biến của sản phẩm
- Theo dõi biến động giá và mức độ phổ biến của sản phẩm
Truy vấn
Trong phần truy vấn, bạn cần chỉ định từ khóa hoặc liên kết đến danh mục, ví dụ:
xiaomi redmi note
https://market.yandex.ru/catalog/54726/list?local-offers-first=0&deliveryincluded=0&onstock=1
Các ví dụ xuất kết quả
A-Parser hỗ trợ định dạng kết quả linh hoạt nhờ trình tạo mẫu tích hợp Template Toolkit, cho phép xuất kết quả dưới dạng tùy ý, cũng như các dạng có cấu trúc như CSV hoặc JSON
Xuất tên, giá tối thiểu và xếp hạng sản phẩm
Định dạng kết quả:
$products.format('Tên: $title, Giá tối thiểu: $amountfrom, Xếp hạng: $rating\n')
Ví dụ kết quả:
Tên: Điện thoại thông minh Apple iPhone 11 64GB, Giá tối thiểu: 46 244, Xếp hạng: 4.7
Tên: Điện thoại thông minh Apple iPhone Xr 64GB, Giá tối thiểu: 36 990, Xếp hạng: 4.7
Tên: Điện thoại thông minh Apple iPhone 12 64GB, Giá tối thiểu: 60 840, Xếp hạng: 4.7
Tên: Điện thoại thông minh Apple iPhone SE 2020 64GB, Giá tối thiểu: 33 490, Xếp hạng: 4.5
Tên: Điện thoại thông minh Apple iPhone Xr 128GB, Giá tối thiểu: 43 450, Xếp hạng: 4.7
Xuất ra bảng CSV
Định dạng kết quả:
[% FOREACH item IN products;
tools.CSVline(item.cardlink, item.title, item.amountfrom, item.rating, item.commentscount);
END %]
Ví dụ kết quả:
https://market.yandex.ru/product--smartfon-apple-iphone-11-64gb/558171067?nid=54726&show-uid=16206538929466307988916001&context=search&text=iphone&sku=101106266737,"Điện thoại thông minh Apple iPhone 11 64GB","46 244",4.7,810
https://market.yandex.ru/product--smartfon-apple-iphone-xr-64gb/175941311?nid=54726&show-uid=16206538929466307988916002&context=search&text=iphone&sku=101103379766,"Điện thoại thông minh Apple iPhone Xr 64GB","36 990",4.7,624
https://market.yandex.ru/product--smartfon-apple-iphone-12-64gb/722976004?nid=54726&show-uid=16206538929466307988916003&context=search&text=iphone&sku=101077347750,"Điện thoại thông minh Apple iPhone 12 64GB","60 840",4.7,103
https://market.yandex.ru/product--smartfon-apple-iphone-se-2020-64gb/661221015?nid=54726&show-uid=16206538929466307988916004&context=search&text=iphone&sku=101099789863,"Điện thoại thông minh Apple iPhone SE 2020 64GB","33 490",4.5,358
Văn bản bắt đầu:
Liên kết sản phẩm, Tên sản phẩm, Giá tối thiểu, Xếp hạng, Số lượng bình luận
Trong Định dạng kết quả, trình tạo mẫu Template Toolkit được sử dụng để xuất mảng $products trong vòng lặp FOREACH.
Để tùy chọn "Prepend text" hiển thị trong Trình chỉnh sửa tác vụ, bạn cần kích hoạt "More options". Trong "Prepend text", chúng ta ghi tên các cột cách nhau bằng dấu phẩy và để dòng thứ hai trống.
Lưu dưới định dạng SQL
Định dạng kết quả:
[% FOREACH item IN products;
"INSERT INTO products VALUES('" _ item.title _ "', '"; item.cardlink _ "', '"; item.amountfrom _ "', '"; item.rating _ "')\n";
END %]
Ví dụ kết quả:
INSERT INTO products VALUES('Điện thoại Apple iPhone 11 64GB', 'https://market.yandex.ru/product--smartfon-apple-iphone-11-64gb/558171067?nid=54726&show-uid=16206542754162480526716001&context=search&text=iphone&sku=101106266737', '46 244', '4.7')
INSERT INTO products VALUES('Điện thoại Apple iPhone Xr 64GB', 'https://market.yandex.ru/product--smartfon-apple-iphone-xr-64gb/175941311?nid=54726&show-uid=16206542754162480526716002&context=search&text=iphone&sku=101103379766', '36 990', '4.7')
INSERT INTO products VALUES('Điện thoại Apple iPhone 12 64GB', 'https://market.yandex.ru/product--smartfon-apple-iphone-12-64gb/722976004?nid=54726&show-uid=16206542754162480526716003&context=search&text=iphone&sku=101077347750', '60 840', '4.7')
INSERT INTO products VALUES('Điện thoại Apple iPhone SE 2020 64GB', 'https://market.yandex.ru/product--smartfon-apple-iphone-se-2020-64gb/661221015?nid=54726&show-uid=16206542754162480526716004&context=search&text=iphone&sku=101099789863', '33 490', '4.5')
Dump kết quả sang JSON
Định dạng kết quả chung:
[% IF notFirst;
",\n";
ELSE;
notFirst = 1;
END;
obj = {};
obj.query = query;
obj.items = [];
FOREACH item IN p1.products;
obj.items.push({
link = item.cardlink
name = item.title
amountfrom = item.amountfrom
});
END;
obj.json %]
Văn bản bắt đầu:
[
Văn bản kết thúc:
]
Ví dụ kết quả:
[
{
"query": "https://market.yandex.ru/catalog--mobilnye-telefony/54726/list?text=iphone&hid=91491&was_redir=1&rt=10&cpa=0&onstock=0&local-offers-first=0",
"items": [
{
"link": "https://market.yandex.ru/product--smartfon-apple-iphone-11-64gb/558171067?nid=54726&show-uid=16206548825917275667016001&context=search&text=iphone&sku=101106266737",
"amountfrom": "46 244",
"name": "Điện thoại thông minh Apple iPhone 11 64GB"
},
{
"link": "https://market.yandex.ru/product--smartfon-apple-iphone-xr-64gb/175941311?nid=54726&show-uid=16206548825917275667016002&context=search&text=iphone&sku=101103379766",
"amountfrom": "36 990",
"name": "Điện thoại thông minh Apple iPhone Xr 64GB"
},
{
"link": "https://market.yandex.ru/product--smartfon-apple-iphone-12-64gb/722976004?nid=54726&show-uid=16206548825917275667016003&context=search&text=iphone&sku=101077347750",
"amountfrom": "60 840",
"name": "Điện thoại thông minh Apple iPhone 12 64GB"
},
{
"link": "https://market.yandex.ru/product--smartfon-apple-iphone-se-2020-64gb/661221015?nid=54726&show-uid=16206548825917275667016004&context=search&text=iphone&sku=101099789863",
"amountfrom": "33 490",
"name": "Điện thoại thông minh Apple iPhone SE 2020 64GB"
}
]
}
]
Để các tùy chọn "Prepend text" và "Append text" hiển thị trong Trình chỉnh sửa tác vụ, bạn cần kích hoạt "More options".
Các thiết lập có thể
| Thông số | Giá trị mặc định | Mô tả |
|---|---|---|
| AntiGate preset | default | Lựa chọn preset  Util::AntiGate, chi tiết về cài đặt tại đây |
| AntiGate preset for old captcha | default | Tương tự như AntiGate preset, nhưng chỉ được sử dụng cho các loại captcha thông thường (cũ, dưới dạng một hình ảnh). Nếu không chọn preset ở đây, preset được chọn trong AntiGate preset sẽ được sử dụng cho các loại captcha này. |
| Auto-Solve ClickCaptcha | ☐ | Tự động giải click captcha (không sử dụng dịch vụ) |
| Experimental img captcha max count | 1 | Số lượng tối đa các hình ảnh captcha lặp lại cho mỗi lần thử |
| Pages count | 5 | Số lượng trang để cào dữ liệu |
| Search region ID | Not set | Khu vực để cào dữ liệu |