Shop::Wildberries::ProductsList - công cụ cào dữ liệu danh sách sản phẩm Wildberries
Tổng quan về công cụ cào dữ liệu
Sử dụng công cụ cào dữ liệu sản phẩm Wildberries, bạn có thể lấy dữ liệu về sản phẩm từ kết quả tìm kiếm theo từ khóa hoặc từ danh sách sản phẩm của một danh mục hoặc thương hiệu cụ thể. Với sự trợ giúp của nó, bạn có thể thu thập cơ sở dữ liệu liên kết sản phẩm, theo dõi biến động giá, thay đổi số lượng đánh giá hoặc xếp hạng, thu thập hình ảnh sản phẩm hoặc thông tin về màu sắc và kích thước có sẵn. Ngoài ra, danh sách các quảng cáo cũng được thu thập riêng biệt với chỉ số vị trí của từng quảng cáo trong kết quả tìm kiếm tự nhiên. Công cụ cào dữ liệu cung cấp khả năng thiết lập sắp xếp kết quả và chỉ định điểm nhận hàng.
Chức năng của A-Parser cho phép lưu các cài đặt cào dữ liệu để sử dụng sau này (preset), thiết lập lịch trình cào dữ liệu và nhiều tính năng khác. Bạn có thể sử dụng tính năng tự động nhân bản truy vấn, thay thế truy vấn con từ tệp, quét các tổ hợp chữ-số và danh sách để nhận được số lượng kết quả tối đa có thể.
Dữ liệu thu thập được
- Số lượng sản phẩm
- Tên sản phẩm
- Liên kết sản phẩm
- Hình ảnh sản phẩm
- Thương hiệu
- Giá và giá cũ
- Xếp hạng và số lượng đánh giá
- Kích thước và/hoặc màu sắc
- Đối với quảng cáo - vị trí trong danh sách sản phẩm
- Danh sách từ khóa từ "Người khác cũng tìm kiếm" và "Có thể bạn sẽ thích"
Ứng dụng
- Thu thập liên kết sản phẩm
- Đánh giá mức độ phổ biến của sản phẩm
- Theo dõi biến động giá và mức độ phổ biến của sản phẩm
- Thu thập kho hình ảnh sản phẩm
- Xác định vị trí của các quảng cáo
Truy vấn
Có thể sử dụng làm truy vấn:
Liên kết đến danh sách sản phẩm của thương hiệu, ví dụ:
https://www.wildberries.ru/brands/kristiano-fashion
https://www.wildberries.ru/brands/s-a-s
Liên kết đến danh sách sản phẩm trong danh mục, ví dụ:
https://www.wildberries.ru/catalog/elektronika/razvlecheniya-i-gadzhety/igrovye-konsoli/playstation
https://www.wildberries.ru/catalog/avtotovary/shiny-i-diski/shiny
Từ khóa, giống hệt như khi bạn nhập trực tiếp vào khung tìm kiếm của Wildberries, ví dụ:
xiaomi mi10
áo thun và áo ba lỗ
đầu đĩa ô tô
Thay thế truy vấn
Khi sử dụng từ khóa làm truy vấn, bạn có thể sử dụng macro tích hợp để nhân bản truy vấn, ví dụ nếu cần lấy nhiều kết quả hơn so với kết quả tìm kiếm thông thường cung cấp.
Ví dụ, đối với các từ khóa nêu trên, trong định dạng truy vấn chúng ta sẽ chỉ định quét các ký tự từ a đến zzzz, phương pháp này cho phép xoay vòng kết quả tìm kiếm tối đa và nhận được nhiều kết quả độc nhất mới:
$query {az:a:zzzz}
Macro này sẽ tạo ra 475254 truy vấn bổ sung cho mỗi truy vấn tìm kiếm gốc, tổng cộng sẽ cho ra 4 x 475254 = 1901016 truy vấn tìm kiếm, một con số ấn tượng nhưng hoàn toàn không phải là vấn đề đối với A-Parser. Với tốc độ 2000 truy vấn mỗi phút, tác vụ này sẽ được xử lý chỉ trong 16 giờ.
Các ví dụ về định dạng kết quả
A-Parser hỗ trợ định dạng kết quả linh hoạt nhờ vào công cụ tạo mẫu tích hợp Template Toolkit, cho phép xuất kết quả ở bất kỳ dạng nào, cũng như ở dạng cấu trúc như CSV hoặc JSON
Xuất thương hiệu, tên và giá
Định dạng kết quả:
$items.format('$brand, $name, $price\n')
Ví dụ kết quả:
Xiaomi, Điện thoại thông minh Poco X3 Pro / 6.67'' / 2400x1080 / IPS / 8 GB / 256 GB / 5160 mAh, 23751
Realme, Điện thoại thông minh realme 8 / 6.4'' / 2400x1080 / Super AMOLED / 6 GB / 128 GB / 5000 mAh, 19911
Apple, Điện thoại thông minh iPhone 11 128GB / 6.1'' / 1792x828 / Liquid Retina HD / 128 GB, 54990
Apple, Điện thoại thông minh iPhone 12 128GB / 6.1'' / 2532x1170 / OLED / 128 GB, 69990
Samsung, Điện thoại thông minh Galaxy A32 / 6.4'' / 2400x1080 / Super AMOLED / 4 GB / 128 GB / 5000 mAh, 19791
Xuất kèm theo tên biến
Định dạng kết quả:
$items.format('Thương hiệu: $brand, Tên: $name, Giá: $price\n')
Ví dụ kết quả:
Thương hiệu: Samsung, Tên: Điện thoại thông minh Galaxy A32 / 6.4'' / 2400x1080 / Super AMOLED / 4 GB / 128 GB / 5000 mAh, Giá: 19791
Thương hiệu: Realme, Tên: Điện thoại thông minh realme 8 / 6.4'' / 2400x1080 / Super AMOLED / 6 GB / 128 GB / 5000 mAh, Giá: 19911
Thương hiệu: Honor, Tên: Điện thoại thông minh Honor 50 / 6.57'' / 2340x1080 / OLED / 6 GB / 128 GB / 4300 mAh, Giá: 31490
Thương hiệu: Apple, Tên: Điện thoại thông minh iPhone 13 256GB / 6.1'' / 2532x1170 / OLED / 256 GB, Giá: 89990
Thương hiệu: Xiaomi, Tên: Điện thoại thông minh 6.53'' / 1600x720 / 2 GB / 32 GB / 5000 mAh, Giá: 8990
Xuất kết quả kèm ngày cào dữ liệu vào bảng CSV
Định dạng kết quả:
[% USE d = date(format = '%Y %m %d %H:%M', locale = 'C');
FOREACH item IN items;
tools.CSVline(d.format(), item.name, item.price, item.link);
END %]
Ví dụ kết quả:
"2022 01 26 10:15","Điện thoại thông minh 6.53'' / 1600x720 / 2 GB / 32 GB / 5000 mAh*h",8990,https://www.wildberries.ru/catalog/13615126/detail.aspx
"2022 01 26 10:15","Điện thoại thông minh iPhone 13 128GB / 6.1'' / 2532x1170 / OLED / 128 GB",74390,https://www.wildberries.ru/catalog/40640907/detail.aspx
"2022 01 26 10:15","Điện thoại thông minh Galaxy S21 256GB / 6.2'' / Dynamic AMOLED / 8 GB / 256 GB / 4000 mAh*h",64791,https://www.wildberries.ru/catalog/18592983/detail.aspx
"2022 01 26 10:15","Điện thoại thông minh Galaxy M22 / 6.4'' / 720x1600 / Super AMOLED / 4 GB / 128 GB / 5000 mAh*h",17280,https://www.wildberries.ru/catalog/41501725/detail.aspx
Xuất tên, giá và phần trăm giảm giá sản phẩm vào bảng CSV
Định dạng kết quả:
[% USE Math;
FOREACH item IN items;
discount = item.oldPrice ? (item.oldPrice - item.price) / item.oldPrice * 100 : 0;
tools.CSVline(item.name, item.price, Math.int(discount + 0.5) _ '%');
END %]
Ví dụ kết quả:
"Điện thoại thông minh Poco X3 Pro / 6.67'' / 2400x1080 / IPS / 8 GB / 256 GB / 5160 mAh*h",23751,12%
"Điện thoại thông minh realme 8 / 6.4'' / 2400x1080 / Super AMOLED / 6 GB / 128 GB / 5000 mAh",19911,17%
"Điện thoại thông minh iPhone 12 128GB / 6.1'' / 2532x1170 / OLED / 128 GB",69990,0%
"Điện thoại thông minh Galaxy A32 / 6.4'' / 2400x1080 / Super AMOLED / 4 GB / 128 GB / 5000 mAh",19791,10%
"Điện thoại thông minh galaxy a52 / 6.5'' / 1080x2400 / Super AMOLED / 8 GB / 256 GB / 4500 mAh*h",28691,18%
Xuất vào bảng CSV
Định dạng kết quả:
[% FOREACH item IN items;
tools.CSVline(item.link, item.name, item.price, item.oldPrice, item.rating, item.reviews);
END %]
Văn bản bắt đầu:
Liên kết sản phẩm, Tên sản phẩm, Giá, Giá cũ, Xếp hạng, Số lượng đánh giá
Ví dụ kết quả:
Liên kết sản phẩm, Tên sản phẩm, Giá, Giá cũ, Xếp hạng, Số lượng đánh giá
https://www.wildberries.ru/catalog/54067214/detail.aspx,"Mũ beanie nữ",703,1900,5,6
https://www.wildberries.ru/catalog/41415461/detail.aspx,"Mũ beanie nữ / beanie có vành / Beanie (beanie)",1487,1750,5,346
https://www.wildberries.ru/catalog/16782596/detail.aspx,"Mũ beanie nữ / beanie có vành / Beanie (beanie)",1487,1750,5,346
https://www.wildberries.ru/catalog/9468600/detail.aspx,"Mũ kèm khăn / kèm găng tay / beanie nữ",2700,4500,5,137
https://www.wildberries.ru/catalog/4750212/detail.aspx,"Mũ nồi",765,1075,5,349
https://www.wildberries.ru/catalog/9793364/detail.aspx,"Mũ nồi kèm khăn",3297,4710,5,307
Lưu ở định dạng SQL
Định dạng kết quả:
[% FOREACH item IN items;
"INSERT INTO products VALUES('" _ item.name _ "', '"; item.link _ "', '"; item.price _ "', '"; item.brand _ "')\n";
END %]
Ví dụ kết quả:
INSERT INTO products VALUES('Điện thoại thông minh 6.53'' / 1600x720 / 2 GB / 32 GB / 5000 mAh*h', 'https://www.wildberries.ru/catalog/13615125/detail.aspx', '8990', 'Xiaomi')
INSERT INTO products VALUES('Điện thoại thông minh galaxy a52 / 6.5'' / 1080x2400 / Super AMOLED / 4 GB / 128 GB / 4500 mAh*h', 'https://www.wildberries.ru/catalog/23155682/detail.aspx', '24291', 'Samsung')
INSERT INTO products VALUES('Điện thoại thông minh 6.53'' / 1600x720 / 2 GB / 32 GB / 5000 mAh*h', 'https://www.wildberries.ru/catalog/13615126/detail.aspx', '8990', 'Xiaomi')
Dump kết quả sang JSON
Định dạng kết quả chung:
[% IF notFirst;
",\n";
ELSE;
notFirst = 1;
END;
obj = {};
obj.query = query;
obj.items = [];
FOREACH item IN p1.items;
obj.items.push({
link = item.link
name = item.name
price = item.price
});
END;
obj.json %]
Văn bản bắt đầu:
[
Văn bản kết thúc:
]
Ví dụ kết quả:
[
{
"query": "điện thoại thông minh",
"items": [
{
"link": "https://www.wildberries.ru/catalog/27379808/detail.aspx",
"name": "Điện thoại thông minh realme 8 / 6.4'' / 2400x1080 / Super AMOLED / 6 GB / 128 GB / 5000 mAh",
"price": 19911
},
{
"link": "https://www.wildberries.ru/catalog/16023994/detail.aspx",
"name": "Điện thoại thông minh iPhone 11 128GB / 6.1'' / 1792x828 / Liquid Retina HD / 128 GB",
"price": 54990
},
{
"link": "https://www.wildberries.ru/catalog/15875669/detail.aspx",
"name": "Điện thoại thông minh iPhone 12 128GB / 6.1'' / 2532x1170 / OLED / 128 GB",
"price": 69990
},
...
]
},
...
]
Để các tùy chọn "Prepend text" và "Append text" hiển thị trong Trình chỉnh sửa tác vụ, bạn cần kích hoạt "More options".
Các thiết lập có thể
| Tham số | Giá trị mặc định | Mô tả |
|---|---|---|
| Pages count | 5 | Số lượng trang để cào dữ liệu |
| Sort by | Popularity | Sắp xếp kết quả |
| Address | Địa chỉ điểm nhận hàng | |
| Longitude | Kinh độ điểm nhận hàng | |
| Latitude | Vĩ độ điểm nhận hàng |
Theo mặc định, Wildberries hiển thị kết quả cho Moscow. Trong công cụ cào dữ liệu có khả năng chỉ định điểm nhận hàng và danh sách kết quả sẽ được liên kết với một vị trí cụ thể. Để làm điều này, bạn cần ghi đè 3 tham số: Address, Longitude và Latitude. Bạn có thể lấy các giá trị cần thiết cho các tham số này trong trình duyệt:
1. Chọn điểm nhận hàng mong muốn, trước đó hãy mở Công cụ dành cho nhà phát triển (trong Chrome nhấn phím F12)
2. Trong tab «Mạng» tìm truy vấn create?version=1 và sao chép dữ liệu vào cài đặt công cụ cào dữ liệu
Sau khi chọn điểm nhận hàng, hãy mở tab Mạng (trong Chrome tiếng Anh là Network). Tìm truy vấn create?version=1, trong phản hồi (Preview) hãy sao chép address, lat và lon vào các trường Address, Latitude và Longitude của công cụ cào dữ liệu tương ứng.
