Перейти к основному содержимому

Shop::AliExpress - парсер товаров AliExpress

AliExpress

Обзор парсера​

С парсером товаров AliExpress вы задаёте поисковые запросы — так же, как в строке поиска на сайте, — и получаете карточки из выдачи: ссылки, названия, цены, валюту, доставку и пометки, рейтинг, картинки, магазины. Не парсится отдельная страница товара и не принимаются на вход ссылка на продавца или категорию — только текст запроса.

Функционал A-Parser позволяет сохранять настройки парсинга для дальнейшего использования (пресеты), задавать расписание парсинга и многое другое. Вы можете использовать автоматическое размножение запросов, подстановку подзапросов из файлов, перебор цифро-буквенных комбинаций и списков для получения максимально возможного количества результатов.

Запущенное задание

Собираемые данные​

Массив $serp (карточки выдачи, порядок полей фиксирован в настройках парсера):

  • Ссылка ($serp.$i.link)
  • Заголовок ($serp.$i.title)
  • Цена ($serp.$i.price)
  • Старая / зачёркнутая цена ($serp.$i.old_price)
  • Валюта ($serp.$i.currency)
  • Доставка и похожие пометки ($serp.$i.ship)
  • Тег ($serp.$i.product_tag)
  • Рейтинг ($serp.$i.rating)
  • Картинка ($serp.$i.img)
  • Магазин ($serp.$i.store) и ссылка на магазин ($serp.$i.store_link)
  • Число продаж / заказов ($serp.$i.sold_count)
Собираемые данные

Варианты использования​

  • Сбор ссылок на товары
  • Отслеживание динамики цен на товары
  • Учёт пометок по доставке и продажам товаров
  • Оценка рейтинга товаров
  • Сбор картинок на товары
  • Сбор названий магазинов и ссылок на них

Запросы​

В качестве запросов необходимо указывать названия товаров, точно так же, как если бы их вводили прямо в форму поиска AliExpress, например:

iphone 11pro max
Беспроводная Bluetooth-мышь, домашняя игровая мышь
Карта памяти Micro Sd Sandisk, карта Micro Sd Class10 TF
AMD Ryzen R3 2200U

Подстановки запросов​

Вы можете использовать встроенные макросы для разможения запросов, например мы хотим получить очень большую базу товаров по брендам,

philips
sony
xiaomi
samsung

В формате запросов укажем перебор символов от a до zzzz, данный метод позволяет максимально ротировать поисковую выдачу и получать множество новых уникальных результатов:

$query {az:a:zzzz}

Данный макрос создаст 475254 дополнительных запросов на каждый исходный поисковый запрос, что в сумме даст 4 x 475254 = 1901016 поисковых запроса, цифра впечатляющая, но это совсем не проблема для A-Parser'а. При скорости 2000 запросов в минуту такое задание обработается всего за 16 часов.

Варианты вывода результатов​

A-Parser поддерживает гибкое форматирование результатов благодаря встроенному шаблонизатору Template Toolkit, что позволяет ему выводить результаты в произвольной форме, а также в структуированной, например CSV или JSON

Экспорт списка ссылок​

Формат результата:

$serp.format('$link\n');

Пример результата:

https://www.aliexpress.com/item/32881647077.html
https://www.aliexpress.com/item/32828669111.html
https://www.aliexpress.com/item/32846368547.html
https://www.aliexpress.com/item/32874589153.html
https://www.aliexpress.com/item/32883875336.html
https://www.aliexpress.com/item/32851366164.html
https://www.aliexpress.com/item/32855645663.html
https://www.aliexpress.com/item/32815214672.html
https://www.aliexpress.com/item/33011711400.html
https://www.aliexpress.com/item/32881200824.html
https://www.aliexpress.com/item/32738738425.html
https://www.aliexpress.com/item/32883871759.html
https://www.aliexpress.com/item/32829794248.html
https://www.aliexpress.com/item/32822568852.html
https://www.aliexpress.com/item/32817751643.html
https://www.aliexpress.com/item/32824607605.html
https://www.aliexpress.com/item/33005326314.html
https://www.aliexpress.com/item/32979565350.html
https://www.aliexpress.com/item/32795729059.html
https://www.aliexpress.com/item/1005002617887161.html
https://www.aliexpress.com/item/4000007752405.html
https://www.aliexpress.com/item/1005002537902461.html
https://www.aliexpress.com/item/1005002970085353.html

Вывод названия, цены и рейтинга​

Формат результата:

$serp.format('$title, $price, $rating\n');

Пример результата:

Apple iPhone 7 4G LTE Cell Phone 32/128GB/256GB IOS 12.0MP + 7.0MP Camera Quad-Core Fingerprint 4.7" 4K Video, 165.9, 4.8
Used Unlocked Original Apple iPhone 7 Quad Core 4.7Inch 12.0MP Camera 4G LTE Mobile Phone Fingerprint Touch ID, 154.08, 4
Apple iPhone 7 Plus Factory Original Mobile Phone 4G LTE 5.5" Dual Core A10 12MP RAM 3GB ROM 128GB Cell phone NFC, 267.12, 4.6
Apple iPhone 7 2GB RAM 32/128/256GB ROM 4.7" IOS Cell Phone 12.0MP Camera Quad Core 4K Video LTE 1960mAh Touch ID, 168.99, 4.4
100% Original iPhone 7 Quad Core 4.7 Inch 2GB RAM 32/128/256GB ROM 12.0MP Camera LTE IOS IPS Touch ID Unlocked Used Mobile Phone, 171.61, 4.8
Apple iPhone 7 Plus 3GB RAM 32/128GB/256GB IOS Cell Phone LTE 12.0MP Camera Apple Quad-Core Fingerprint 12MP 2910mA, 261, 4.8
Apple iPhone 7 Factory Unlocked Original Mobile Phone 4G LTE 4.7" Dual Core A10 12MP RAM 2GB ROM 32GB/128GB/256GB Cell phone NFC, 171.36, 4.8
Apple iPhone 7 4G LTE Mobile phone IOS Quad Core 2GB RAM 32/128GB/256GB ROM 12.0MP Fingerprint Original unlocked iphone7, 179.6, 4.9
Apple iPhone 7 Plus 3GB RAM 32/128GB/256GB ROM IOS Quad-Core 12.0MP Camera Fingerprint Original iPhone7 Plus LTE Mobile Phone, 259, 4.8
Original Apple iPhone 7 4G LTE Mobile phone Quad Core 2GB RAM 32G/128/256GB IOS 12.0MP Fingerprint Cell Phones, 171.75, 4.4
Apple iPhone 7 Plus GSM Unlocked 5.5" 3GB Ram 32/128/256GB Rom iOS 4G Lte 12.0MP Dual-Rear Camera 2910mA Fingerprint Smartphones, 263, 5
Unlocked Original Apple iPhone 7 / iPhone 7 Plus Quad-core Mobile phone 12.0MP camera 32G/128G/256G Rom IOS Fingerprint phone, 171.32, 4.5
Original Apple iPhone 7 Plus Factory Unlocked Mobile Phone 12MP Two Camera Wide-Angle 4G LTE 5.5" Quad Core A10 3G RAM 128G ROM, 259.94, 4.9
Original Apple iPhone 7 Plus Fingerprint 3GB RAM 32/128GB/256GB IOS Cell Phone LTE 12.0MP Camera Apple Quad-Core12MP Cellphone, 254.74, 5
Original Apple iPhone 7 32GB/128GB 4G LTE iphone7 Mobile phone IOS Quad Core cellphone 4.7'' 12.0 MP Fingerprint Smartphone, 177.66, 4.4

Вывод названия, цены товара и доставки​

Формат результата:

$serp.format('Название: $title, цена: $price, цена доставки: $ship\n');

Пример результата:

Название: Apple iPhone 7 4G LTE Cell Phone 32/128GB/256GB IOS 12.0MP + 7.0MP Camera Quad-Core Fingerprint 4.7" 4K Video, цена: 165.9, цена доставки: Free Shipping
Название: Used Unlocked Original Apple iPhone 7 Quad Core 4.7Inch 12.0MP Camera 4G LTE Mobile Phone Fingerprint Touch ID, цена: 154.08, цена доставки: Free Shipping
Название: Apple iPhone 7 Plus Factory Original Mobile Phone 4G LTE 5.5" Dual Core A10 12MP RAM 3GB ROM 128GB Cell phone NFC, цена: 267.12, цена доставки: Free Shipping
Название: Apple iPhone 7 Plus 3GB RAM 32/128GB/256GB IOS Cell Phone LTE 12.0MP Camera Apple Quad-Core Fingerprint 12MP 2910mA, цена: 261, цена доставки: 11.22
Название: 100% Original iPhone 7 Quad Core 4.7 Inch 2GB RAM 32/128/256GB ROM 12.0MP Camera LTE IOS IPS Touch ID Unlocked Used Mobile Phone, цена: 171.61, цена доставки: Free Shipping
Название: Apple iPhone 7 Factory Unlocked Original Mobile Phone 4G LTE 4.7" Dual Core A10 12MP RAM 2GB ROM 32GB/128GB/256GB Cell phone NFC, цена: 171.36, цена доставки: Free Shipping

Вывод в таблицу CSV​

Формат результата:

[% FOREACH item IN serp; 
tools.CSVline(item.link, item.title, item.price, item.rating, item.store);
END %]

Пример результата:

https://www.aliexpress.com/item/32829794248.html,"Apple iPhone 7 Plus Factory Original Mobile Phone 4G LTE 5.5"" Dual Core A10 12MP RAM 3GB ROM 128GB Cell phone NFC",267.12,4.6,"Topco-The Reliable Genuine Mobile Phone Store"
https://www.aliexpress.com/item/32874581363.html,"Apple iPhone 7 4G LTE Cell Phone 32/128GB/256GB IOS 12.0MP + 7.0MP Camera Quad-Core Fingerprint 4.7"" 4K Video",165.9,4.8,"Rainbow--The Most Reliable Original Mobile Phones Store"
https://www.aliexpress.com/item/32883871759.html,"Apple iPhone 7 Plus 3GB RAM 32/128GB/256GB ROM IOS Quad-Core 12.0MP Camera Fingerprint Original iPhone7 Plus LTE Mobile Phone",259,4.8,"HongKong CINGO Technology Co., Ltd."
https://www.aliexpress.com/item/32883875336.html,"Apple iPhone 7 4G LTE Mobile phone IOS Quad Core 2GB RAM 32/128GB/256GB ROM 12.0MP Fingerprint Original unlocked iphone7",179.6,4.9,"HongKong CINGO Technology Co., Ltd."
https://www.aliexpress.com/item/32874589153.html,"Apple iPhone 7 2GB RAM 32/128/256GB ROM 4.7"" IOS Cell Phone 12.0MP Camera Quad Core 4K Video LTE 1960mAh Touch ID",168.99,4.4,"Rainbow--The Most Reliable Original Mobile Phones Store"
https://www.aliexpress.com/item/32846368547.html,"100% Original iPhone 7 Quad Core 4.7 Inch 2GB RAM 32/128/256GB ROM 12.0MP Camera LTE IOS IPS Touch ID Unlocked Used Mobile Phone",171.61,4.8,"Refly-Original mobile phone store"
https://www.aliexpress.com/item/32979565350.html,"Original Apple iPhone 7 Plus Fingerprint 3GB RAM 32/128GB/256GB IOS Cell Phone LTE 12.0MP Camera Apple Quad-Core12MP Cellphone",254.74,5,"Ecoolkey Technology Co.,Ltd"
https://www.aliexpress.com/item/32795729059.html,"Apple iPhone 7 Plus GSM Unlocked 5.5"" 3GB Ram 32/128/256GB Rom iOS 4G Lte 12.0MP Dual-Rear Camera 2910mA Fingerprint Smartphones",263,5,"Summer Technology Co.,Ltd."
https://www.aliexpress.com/item/32881647077.html,"Original Apple iPhone 7&iPhone 7 plus 4G LTE IOS 12.0MP Camera Touch ID 32GB/128GB/256GB RO

Сохранение в формате SQL​

Формат результата:

[% FOREACH item IN serp;
"INSERT INTO serp VALUES('" _ item.title _ "', '"; item.store_link _ "', '"; item.ship _ "', '"; item.price _ "')\n";
END %]

Пример результата:

INSERT INTO serp VALUES('Apple iPhone 7 Plus 3GB RAM 32/128GB/256GB IOS Cell Phone LTE 12.0MP Camera Apple Quad-Core Fingerprint 12MP 2910mA', 'https://www.aliexpress.com/store/1110648', '', '272.22')
INSERT INTO serp VALUES('Apple iPhone 7 4G LTE Cell Phone 32/128GB/256GB IOS 12.0MP + 7.0MP Camera Quad-Core Fingerprint 4.7" 4K Video', 'https://www.aliexpress.com/store/1052671', 'Free Shipping', '165.9')
INSERT INTO serp VALUES('Apple iPhone 7 Plus 3GB RAM 32/128GB/256GB ROM IOS Quad-Core 12.0MP Camera Fingerprint Original iPhone7 Plus LTE Mobile Phone', 'https://www.aliexpress.com/store/1110648', '', '270.22')
INSERT INTO serp VALUES('Apple iPhone 7 4G LTE Mobile phone IOS Quad Core 2GB RAM 32/128GB/256GB ROM 12.0MP Fingerprint Original unlocked iphone7', 'https://www.aliexpress.com/store/1110648', '', '190.82')
INSERT INTO serp VALUES('Apple iPhone 7 2GB RAM 32/128/256GB ROM 4.7" IOS Cell Phone 12.0MP Camera Quad Core 4K Video LTE 1960mAh Touch ID', 'https://www.aliexpress.com/store/1052671', 'Free Shipping', '168.99')
INSERT INTO serp VALUES('100% Original iPhone 7 Quad Core 4.7 Inch 2GB RAM 32/128/256GB ROM 12.0MP Camera LTE IOS IPS Touch ID Unlocked Used Mobile Phone', 'https://www.aliexpress.com/store/1194206', 'Free Shipping', '171.61')
INSERT INTO serp VALUES('Original Apple iPhone 7 Plus Fingerprint 3GB RAM 32/128GB/256GB IOS Cell Phone LTE 12.0MP Camera Apple Quad-Core12MP Cellphone', 'https://www.aliexpress.com/store/709663', '', '307.37')
INSERT INTO serp VALUES('Original Apple iPhone 7&iPhone 7 plus 4G LTE IOS 12.0MP Camera Touch ID 32GB/128GB/256GB ROM Fingerprint used Smartphone', 'https://www.aliexpress.com/store/1309027', 'Free Shipping', '148')

Дамп результатов в JSON​

Общий формат результата:

[% IF notFirst;
",\n";
ELSE;
notFirst = 1;
END;

obj = {};
obj.items = [];

FOREACH item IN p1.serp;
obj.items.push({
link = item.link
title = item.title
price = item.price
});
END;

obj.json %]

Начальный текст:

[

Конечный текст:

]

Пример результата:

[
{
"items": [
{
"link": "https://www.aliexpress.com/item/32874581363.html",
"title": "Apple iPhone 7 4G LTE Cell Phone 32/128GB/256GB IOS 12.0MP + 7.0MP Camera Quad-Core Fingerprint 4.7\" 4K Video",
"price": 165.9
},
{
"link": "https://www.aliexpress.com/item/32874589153.html",
"title": "Apple iPhone 7 2GB RAM 32/128/256GB ROM 4.7\" IOS Cell Phone 12.0MP Camera Quad Core 4K Video LTE 1960mAh Touch ID",
"price": 168.99
},
{
"link": "https://www.aliexpress.com/item/32846368547.html",
"title": "100% Original iPhone 7 Quad Core 4.7 Inch 2GB RAM 32/128/256GB ROM 12.0MP Camera LTE IOS IPS Touch ID Unlocked Used Mobile Phone",
"price": 171.61
},
{
"link": "https://www.aliexpress.com/item/32855645663.html",
"title": "Used Unlocked Original Apple iPhone 7 Quad Core 4.7Inch 12.0MP Camera 4G LTE Mobile Phone Fingerprint Touch ID",
"price": 154.08
},
{
"link": "https://www.aliexpress.com/item/32883875336.html",
"title": "Apple iPhone 7 4G LTE Mobile phone IOS Quad Core 2GB RAM 32/128GB/256GB ROM 12.0MP Fingerprint Original unlocked iphone7",
"price": 179.6
},

]
}
]
подсказка

Чтобы опции "Начальный текст" и "Конечный текст" были доступны в Редакторе заданий, нужно активировать "Больше опций".

Возможные настройки​

ПараметрЗначение по умолчаниюОписание
Pages count5Сколько страниц выдачи забирать (1–60)
Delivery countryDefaultСтрана
LanguageDefaultЯзык интерфейса выдачи
CurrencyDefaultВалюта цен
Use sessions☑Использование сессий

Delivery country, Language и Currency работают только вместе: задавать или менять их по отдельности нельзя.

Language и Currency выбирайте в соответствии со страной в Delivery country: допустимые сочетания заданы в списках для каждой страны.