Перейти к основному содержимому

Shop::AliExpress: парсер товаров AliExpress

img

Обзор парсера товаров Shop::AliExpress#

Используя парсер товаров aliexpress, вы можете собрать всю информацию из карточки товара, задав список поисковых запросов (названия интересующих вас товаров). Парсер Aliexpress способен собирать колоссальные объемы информации, вы сможете получать данные о товарах, собрать базу ссылок на товары, отслеживать динамику цен на товар и доставку, собирать оценку рейтинга и колличество отзывов на товар, сорбрать картинки товаров, получить список магазинов.

За счет многопоточной работы A-Parser'a, парсер товаров с алиэкспресс позволяет собрать до 200000 ссылок за минуту.

Функционал A-Parser позволяет сохранять настройки парсинга для дальнейшего использования (пресеты), задавать расписание парсинга и многое другое. Вы можете использовать автоматическое размножение запросов, подстановку подзапросов из файлов, перебор цифро-буквенных комбинаций и списков для получения максимально возможного количества результатов.

img

Собираемые данные#

  • Ссылку на товар
  • Наименование
  • Цену
  • Минимальную и максимальную цену
  • Цену распродажи
  • Минимальную и максимальную цену распродажи
  • Цену доставки
  • Тип продукта (б/у или новый)
  • Рейтинг
  • Количество заказов
  • Ссылку на картинку
  • Название магазина и ссылку на него

img

Варианты использования#

  • Сбор ссылок на товары
  • Отслеживание динамики цен на товары
  • Отслеживание динамики цен на доставку товаров
  • Оценка рейтинга товаров, количества отзывов
  • Сбор картинок на товары
  • Сбор списка магазинов на товары и ссылок на них

Примеры запросов#

В качестве запросов необходимо указывать названия товаров, точно так же, как если бы их вводили прямо в форму поиска AliExpress, например:

iphone 11pro max
Беспроводная Bluetooth-мышь, домашняя игровая мышь
Карта памяти Micro Sd Sandisk, карта Micro Sd Class10 TF
AMD Ryzen R3 2200U

Подстановки запросов#

Вы можете использовать встроенные макросы для разможения запросов, например мы хотим получить очень большую базу товаров по брендам,

philips
sony
xiaomi
samsung

В формате запросов укажем перебор символов от a до zzzz, данный метод позволяет максимально ротировать поисковую выдачу и получать множество новых уникальных результатов:

$query {az:a:zzzz}

Данный макрос создаст 475254 дополнительных запросов на каждый исходный поисковый запрос, что в сумме даст 4 х 475254 = 1901016 поисковых запроса, цифра впечатляющая, но это совсем не проблема для A-Parser'а.

Варианты вывода результата#

Вывод в csv#

Вы можете использовать Шаблнизатор Template-Toolkit для вывода результата в csv, например мы записать в файл csv такие колонки: Сссылка на товар, Название товара, Мин.цена, Макс.цена, Рейтинг, Название магазина

Формат результата:

[% FOREACH item IN serp;
tools.CSVline(item.link, item.title, item.min_price, item.max_price, item.rating, item.store );
END; %]

Экспорт списка ссылок#

Формат результата:

$serp.format('$link\n');

Пример результата:

http://www.aliexpress.com/item/8pcs-Universal-Invisible-Car-Door-Handle-Scratches-Automobile-Shakes-Protective-Vinyl-Protector-Films-car-Handle-Free/32810145057.html
http://www.aliexpress.com/item/Podofo-3G-Car-DVR-7-Android-5-0-GPS-Registrar-Navigation-Video-Recorder-Bluetooth-WIFI-Dual/32843631141.html
http://www.aliexpress.com/item/CHSKY-Car-Engine-Push-Start-Button-RFID-Engine-Lock-Ignition-Keyless-Entry-System-Go-Push-Button/32822529525.html
http://www.aliexpress.com/item/CHIZIYO-2017-Hot-Sale-Reliable-Alloy-Steel-Anti-Theft-Lock-Security-Supplies-Device-Auto-Car-Clutch/32680416678.html
http://www.aliexpress.com/item/2017-Unisex-Portable-Mobile-Urinal-Funnel-Camping-Outdoor-Car-Travel-Handle-Urine-Bottle-Urination-Device-Stand/32828017636.html
http://www.aliexpress.com/item/ZATOOTO-Car-Sun-Visor-Tissue-Box-Convenient-Slide-Design-Plastic-Tissue-Box-Contains-Paper-Towels-Car/32819195167.html
http://www.aliexpress.com/item/MOONBIFFY-6pcs-pack-Brand-New-Car-Solid-Wiper-Fine-Seminoma-Wiper-Car-Auto-Window-Cleaning-Car/32818612918.html
http://www.aliexpress.com/item/Lattice-Pattern-Car-Tissue-Box-Sun-Visor-Type-Auto-Tissue-Box-Personality-Car-Styling-Automobile-interior/32815543048.html
http://www.aliexpress.com/item/Baby-Pillow-Car-Safety-Belt-Seat-Sleep-Positioner-Protect-Shoulder-Pad-Adjust-Vehicle-Seat-Cushion-for/32657105427.html
ttp://www.aliexpress.com/item/2016-New-universal-car-Visor-card-clip-Tissue-box-stowing-tidying-bag-car-accessories-car-organizer/32690069705.html
http://www.aliexpress.com/item/KF-S911-1-12-2WD-42km-h-RC-Car-High-Speed-Remote-Control-Off-Road-Dirt/32663305954.html
http://www.aliexpress.com/item/Pump-Oil-Can-pot-High-Pressure-Oil-Injector-Transparent-Lubrication-Tip-350ml/32825610102.html

Вывод названия и цены#

Формат результата:

$serp.format('$title, $min_price, $max_price\n');

Пример результата:

Apple A10 Fusion Original iPhone 7 4G 16gb 3gb Quad Core Fingerprint Recognition 12mp, 181.66, 181.66
Apple A11 Bionic iPhone 8 Original 64GB 2GB Hexa Core Fingerprint Recognition 12mp Used, 252.75, 252.75
Apple iPhone 5 Original GSM 3G 16GB 8MP Used Wifi Unlocked IOS 32GB 64GB, 58.56, 58.56
Apple iPhone 7 Plus Unlocked 16gb 3gb Quad Core Fingerprint Recognition 12mp Used Mobile, 271.37, 271.37
Apple iPhone 6 1GB 16gb Fingerprint Recognition Used 4G LTE Camera Unlocked Dual-Core, 112.25, 112.25
Apple A10 Fusion Original iPhone 7 4G LTE 32GB Nfc Quad Core Fingerprint Recognition, 182.48, 182.48
APPLE A7 Original iPhone 5S 32GB/64GB-ROM 16GB GSM Bluetooth Dual Core Fingerprint Recognition, 76.16, 76.16

Вывод c названиями переменных#

Формат результата:

$serp.format('Название: $title, Мин.цена: $min_price, Макс.цена: $max_price\n');

Пример результата:

Название: Apple A10 Fusion Original iPhone 7 4G 16gb 3gb Quad Core Fingerprint Recognition 12mp, Мин.цена: 181.66, Макс.цена: 181.66
Название: Apple A11 Bionic iPhone 8 Original 64GB 2GB Hexa Core Fingerprint Recognition 12mp Used, Мин.цена: 252.75, Макс.цена: 252.75
Название: Apple iPhone 5 Original GSM 3G 16GB 8MP Used Wifi Unlocked IOS 32GB 64GB, Мин.цена: 58.56, 58.56
Название: Apple iPhone 7 Plus Unlocked 16gb 3gb Quad Core Fingerprint Recognition 12mp Used Mobile, Мин.цена: 271.37, Макс.цена: 271.37
Название: Apple iPhone 6 1GB 16gb Fingerprint Recognition Used 4G LTE Camera Unlocked Dual-Core, Мин.цена: 112.25, Макс.цена: 112.25
Название: Apple A10 Fusion Original iPhone 7 4G LTE 32GB Nfc Quad Core Fingerprint Recognition, Мин.цена: 182.48, Макс.цена: 182.48
Название: APPLE A7 Original iPhone 5S 32GB/64GB-ROM 16GB GSM Bluetooth Dual Core Fingerprint Recognition, Мин.цена: 76.16, Макс.цена: 76.16

Вывод c новой переменной#

Выведем результат, с переменной total_price, которая равна сумме товара + макс.стоимость доставки

Формат результата:

[% FOREACH item IN p1.serp;
total_price = item.max_price + item.ship_price;
tools.CSVline(item.title, item.ship_price, item.max_price, total_price );
END; %]

Пример результата:

Apple A10 Fusion Original iPhone 7 4G 16gb 3gb Quad Core Fingerprint Recognition 12mp,57.54,181.66,239.2
Apple iPhone XR 3gb 64GB Original Nfc Adaptive Fast Charge Wireless Charging Face Recognition,,448.99,448.99
Apple iPhone4s Original Factory 16gb 8gb 8MP Used Cell-Phone-Touchscreen-Icloud WIFI,10.40,43.8,54.2
Apple A10 Fusion iPhone 7 128gb 3gb Adaptive Fast Charge Quad Core Fingerprint Recognition,,173,173
Apple iPhone 5S Factory Unlocked 16GB GSM Dual Core 8MP Used Icloud Store-Wifi Fingerprint,76.66,75.9,152.56
Apple iPhone X Original 3GB 64GB Nfc Usb-Pd/adaptive fast charge Wireless Charging Hexa Core,11.72,480.79,492.51
Apple iPhone 7 Plus Unlocked 16gb 3gb Quad Core Fingerprint Recognition 12mp Used Mobile,57.54,271.37,328.91
Apple iPhone 8 2GB 64gb LTE Fingerprint Recognition Used Ios Unlocked Original 1 2GB-RAM,,252.34,252.34
Apple A9 iPhone 6S Plus 16gb 2gb Dual Core Fingerprint Recognition Used Unlocked Original,,134.19,134.19
Apple iPhone 5S 16GB/32GB-ROM 1gb Fingerprint Recognition 8mp Used IPS Cell-Phone-iPhone5s,11.60,77.88,89.48
Apple A7 iPhone 128GB/256GB 32gb Nfc Quad Core Fingerprint Recognition 12MP Used 2910ma,11.60,190.8,202.4
Apple iPhone 8 Plus 3GB 64gb Nfc Adaptive fast charge/usb-Pd Wireless Charging Quad Core,11.60,258,269.6
Apple A8 Original iPhone 6 Dual-Core 16GB Fingerprint Recognition Refurbished 1G IOS,,117.7,117.7

Сохранение в формате SQL#

Формат результата:

[% FOREACH item IN p1.serp; "INSERT INTO serp VALUES('" _ item.title _ "', '"; item.store_link _ "', '"; item.ship_price _ "', '"; item.min_price _ "')\n"; END %]

Пример результата:

INSERT INTO serp VALUES('APPLE A7 Original iPhone 5S 32GB/64GB-ROM 16GB GSM Bluetooth Dual Core Fingerprint Recognition', 'https://www.aliexpress.com/store/109319', '76.66', '76.16')
INSERT INTO serp VALUES('Apple iPhone 4S GSM 8gb WCDMA Dual Core 8MP Refurbished IOS Unlocked A5 Original Camera', 'https://www.aliexpress.com/store/1194206', '', '40.37')
INSERT INTO serp VALUES('Apple iPhone4s Original Factory 16gb 8gb 8MP Used Cell-Phone-Touchscreen-Icloud WIFI', 'https://www.aliexpress.com/store/1005214', '10.40', '43.8')
INSERT INTO serp VALUES('Apple A10 Fusion iPhone 7 128gb 3gb Adaptive Fast Charge Quad Core Fingerprint Recognition', 'https://www.aliexpress.com/store/1309027', '', '173')
INSERT INTO serp VALUES('Apple iPhone 4S Original 512MB 8gb Dual Core 8MP Used WIFI Smart A5 3G 64GB GPS WCDMA', 'https://www.aliexpress.com/store/800975', '0.58', '38.98')
INSERT INTO serp VALUES('Apple A10 Fusion Original iPhone 7 4G 16gb 3gb Quad Core Fingerprint Recognition 12mp', 'https://www.aliexpress.com/store/109319', '57.54', '181.66')
INSERT INTO serp VALUES('Apple iPhone 6 100%Original 64gb 1GB Nfc Dual Core Fingerprint Recognition 8MP Used 1GB-RAM', 'https://www.aliexpress.com/store/1194206', '', '114.34')
INSERT INTO serp VALUES('Apple iPhone 5S 16GB/32GB-ROM 1gb Fingerprint Recognition 8mp Used IPS Cell-Phone-iPhone5s', 'https://www.aliexpress.com/store/1417031', '11.60', '77.88')

Дамп результатов в JSON#

Формат результата:

[% data = {}; data.items = []; FOREACH i IN p1.serp; item = {}; item.link = i.link; item.name = i.title; item.price = i.price; data.items.push(item); END; result = {}; result = data; result.json; %]
{
"items": [
{
"link": "https://www.aliexpress.com/item/4001195191139.html?algo_pvid=7e0f8c3f-8d96-4b63-9282-e2e8f9f94a68&algo_expid=7e0f8c3f-8d96-4b63-9282-e2e8f9f94a68-59&btsid=2100bb5116117696802495285e5e53&ws_ab_test=searchweb0_0,searchweb201602_,searchweb201603_",
"name": "MX02S Electric Bike 1000W Snow Bike Electric Bicycle Electric Mountain Bike 26 inch 4.0 Fat Tire ebike 48V17Ah Lithium Battery",
"price": "US $1,499.40"
},
{
"link": "https://www.aliexpress.com/item/4001195191139.html?algo_pvid=7e0f8c3f-8d96-4b63-9282-e2e8f9f94a68&algo_expid=7e0f8c3f-8d96-4b63-9282-e2e8f9f94a68-59&btsid=2100bb5116117696802495285e5e53&ws_ab_test=searchweb0_0,searchweb201602_,searchweb201603_",
"name": "MX02S Electric Bike 1000W Snow Bike Electric Bicycle Electric Mountain Bike 26 inch 4.0 Fat Tire ebike 48V17Ah Lithium Battery",
"price": "US $1,499.40"
},
{
"link": "https://www.aliexpress.com/item/4001195191139.html?algo_pvid=7e0f8c3f-8d96-4b63-9282-e2e8f9f94a68&algo_expid=7e0f8c3f-8d96-4b63-9282-e2e8f9f94a68-59&btsid=2100bb5116117696802495285e5e53&ws_ab_test=searchweb0_0,searchweb201602_,searchweb201603_",
"name": "MX02S Electric Bike 1000W Snow Bike Electric Bicycle Electric Mountain Bike 26 inch 4.0 Fat Tire ebike 48V17Ah Lithium Battery",
"price": "US $1,499.40"
}
]
}

Вывод результата с датой парсинга#

Выведем результат, с переменной total_price, которая равна сумме товара + макс.стоимость доставки

Формат результата:

[% USE date;
d = date.format(mytime, format = "%Y %d %H:%M");
FOREACH item IN p1.serp;
total_price = item.max_price + item.ship_price;
tools.CSVline(d, item.title, item.ship_price, item.max_price, total_price );
END; %]

Пример результата:

"2021 29 09:40","Apple iPhone4s Original Factory 16gb 8gb 8MP Used Cell-Phone-Touchscreen-Icloud WIFI",10.40,49.97,60.37
"2021 29 09:40","Apple iPhone 6 16GB WCDMA/LTE/GSM Nfc Dual Core Fingerprint Recognition 8mp Used 3-Colors",5.26,124.02,129.28
"2021 29 09:40","Original New iPhone 11 Pro/Pro Max Triple Rear Camera 5.8/6.5"" AMOLED Display A13 IOS",,1069,1069
"2021 29 09:40","iPhone XS Max Original Used Apple 64/256GB Unlocked",,690.4,690.4
"2021 29 09:40","Apple iPhone 8 Plus 3GB 64gb Nfc Adaptive fast charge/usb-Pd Wireless Charging Quad Core",11.60,258,269.6
"2021 29 09:40","Apple iPhone 6 100%Original 64gb 1GB Nfc Dual Core Fingerprint Recognition 8MP Used 1GB-RAM",,114.34,114.34
"2021 29 09:40","Apple A9 iPhone SE A1662 16GB 2GB Dual Core Fingerprint Recognition Refurbished Unlock",,118.08,118.08

Возможные настройки#

ПараметрЗначение по умолчаниюОписание
Pages count5Количество страниц для парсинга
Parse not foundОпределяет парсить ли выдачу, если ресурс сообщил что по указанному запросу ничего не найдено
Последнее обновление