Pular para o conteúdo principal

Shop::AliExpress - Scraper de produtos AliExpress

AliExpress

Visão geral do scraper​

Usando o scraper de produtos aliexpress, você pode coletar todas as informações da ficha do produto, definindo uma lista de consultas de pesquisa (nomes dos produtos de seu interesse). O scraper Aliexpress é capaz de coletar volumes colossais de informações; você poderá obter dados sobre produtos, coletar uma base de links para produtos, monitorar a dinâmica de preços de produtos e frete, coletar avaliações de classificação e quantidade de comentários sobre o produto, coletar imagens de produtos e obter uma lista de lojas.

Graças ao processamento em múltiplas threads do A-Parser, o scraper de produtos do aliexpress permite coletar até 200.000 links por minuto.

A funcionalidade do A-Parser permite salvar as configurações de extração de dados para uso posterior (presets), definir agendamentos de extração de dados e muito mais. Você pode usar a multiplicação automática de consultas, substituição de subconsultas a partir de arquivos, combinação de caracteres alfanuméricos e listas para obter a maior quantidade possível de resultados.

Tarefa em execução

Dados coletados​

  • Link do produto
  • Nome
  • Preço
  • Preço do frete
  • Tipo de produto (usado ou novo)
  • Classificação (Rating)
  • Quantidade de pedidos
  • Link da imagem
  • Nome da loja e link para ela
Dados coletados

Casos de uso​

  • Coleta de links de produtos
  • Monitoramento da dinâmica de preços de produtos
  • Monitoramento da dinâmica de preços de frete de produtos
  • Avaliação da classificação de produtos
  • Coleta de imagens de produtos
  • Coleta de lista de lojas de produtos e links para elas

Consultas​

Como consultas, é necessário indicar os nomes dos produtos, exatamente como se fossem digitados diretamente no formulário de busca do AliExpress, por exemplo:

iphone 11pro max
Mouse Bluetooth sem fio, mouse gamer doméstico
Cartão de memória Micro Sd Sandisk, cartão Micro Sd Class10 TF
AMD Ryzen R3 2200U

Substituições de consultas​

Você pode usar macros integrados para multiplicar consultas, por exemplo, se quisermos obter uma base de produtos muito grande por marcas:

philips
sony
xiaomi
samsung

No formato de consultas, indicaremos a iteração de caracteres de a até zzzz; este método permite rotacionar ao máximo os resultados de busca e obter muitos novos resultados únicos:

$query {az:a:zzzz}

Este macro criará 475254 consultas adicionais para cada consulta de pesquisa inicial, o que resultará em um total de 4 x 475254 = 1901016 consultas de pesquisa; um número impressionante, mas que não é problema para o A-Parser. Com uma velocidade de 2000 consultas por minuto, essa tarefa será processada em apenas 16 horas.

Opções de exibição de resultados​

O A-Parser suporta formatação flexível de resultados graças ao motor de modelos integrado Template Toolkit, o que permite exibir resultados em formato livre, bem como estruturado, como CSV ou JSON.

Exportação de lista de links​

Formato do resultado:

$serp.format('$link\n');

Exemplo de resultado:

https://www.aliexpress.com/item/32881647077.html
https://www.aliexpress.com/item/32828669111.html
https://www.aliexpress.com/item/32846368547.html
https://www.aliexpress.com/item/32874589153.html
https://www.aliexpress.com/item/32883875336.html
https://www.aliexpress.com/item/32851366164.html
https://www.aliexpress.com/item/32855645663.html
https://www.aliexpress.com/item/32815214672.html
https://www.aliexpress.com/item/33011711400.html
https://www.aliexpress.com/item/32881200824.html
https://www.aliexpress.com/item/32738738425.html
https://www.aliexpress.com/item/32883871759.html
https://www.aliexpress.com/item/32829794248.html
https://www.aliexpress.com/item/32822568852.html
https://www.aliexpress.com/item/32817751643.html
https://www.aliexpress.com/item/32824607605.html
https://www.aliexpress.com/item/33005326314.html
https://www.aliexpress.com/item/32979565350.html
https://www.aliexpress.com/item/32795729059.html
https://www.aliexpress.com/item/1005002617887161.html
https://www.aliexpress.com/item/4000007752405.html
https://www.aliexpress.com/item/1005002537902461.html
https://www.aliexpress.com/item/1005002970085353.html

Exibição de nome, preço e classificação​

Formato do resultado:

$serp.format('$title, $price, $rating\n');

Exemplo de resultado:

Apple iPhone 7 4G LTE Cell Phone 32/128GB/256GB IOS 12.0MP + 7.0MP Camera Quad-Core Fingerprint 4.7" 4K Video, 165.9, 4.8
Used Unlocked Original Apple iPhone 7 Quad Core 4.7Inch 12.0MP Camera 4G LTE Mobile Phone Fingerprint Touch ID, 154.08, 4
Apple iPhone 7 Plus Factory Original Mobile Phone 4G LTE 5.5" Dual Core A10 12MP RAM 3GB ROM 128GB Cell phone NFC, 267.12, 4.6
Apple iPhone 7 2GB RAM 32/128/256GB ROM 4.7" IOS Cell Phone 12.0MP Camera Quad Core 4K Video LTE 1960mAh Touch ID, 168.99, 4.4
100% Original iPhone 7 Quad Core 4.7 Inch 2GB RAM 32/128/256GB ROM 12.0MP Camera LTE IOS IPS Touch ID Unlocked Used Mobile Phone, 171.61, 4.8
Apple iPhone 7 Plus 3GB RAM 32/128GB/256GB IOS Cell Phone LTE 12.0MP Camera Apple Quad-Core Fingerprint 12MP 2910mA, 261, 4.8
Apple iPhone 7 Factory Unlocked Original Mobile Phone 4G LTE 4.7" Dual Core A10 12MP RAM 2GB ROM 32GB/128GB/256GB Cell phone NFC, 171.36, 4.8
Apple iPhone 7 4G LTE Mobile phone IOS Quad Core 2GB RAM 32/128GB/256GB ROM 12.0MP Fingerprint Original unlocked iphone7, 179.6, 4.9
Apple iPhone 7 Plus 3GB RAM 32/128GB/256GB ROM IOS Quad-Core 12.0MP Camera Fingerprint Original iPhone7 Plus LTE Mobile Phone, 259, 4.8
Original Apple iPhone 7 4G LTE Mobile phone Quad Core 2GB RAM 32G/128/256GB IOS 12.0MP Fingerprint Cell Phones, 171.75, 4.4
Apple iPhone 7 Plus GSM Unlocked 5.5" 3GB Ram 32/128/256GB Rom iOS 4G Lte 12.0MP Dual-Rear Camera 2910mA Fingerprint Smartphones, 263, 5
Unlocked Original Apple iPhone 7 / iPhone 7 Plus Quad-core Mobile phone 12.0MP camera 32G/128G/256G Rom IOS Fingerprint phone, 171.32, 4.5
Original Apple iPhone 7 Plus Factory Unlocked Mobile Phone 12MP Two Camera Wide-Angle 4G LTE 5.5" Quad Core A10 3G RAM 128G ROM, 259.94, 4.9
Original Apple iPhone 7 Plus Fingerprint 3GB RAM 32/128GB/256GB IOS Cell Phone LTE 12.0MP Camera Apple Quad-Core12MP Cellphone, 254.74, 5
Original Apple iPhone 7 32GB/128GB 4G LTE iphone7 Mobile phone IOS Quad Core cellphone 4.7'' 12.0 MP Fingerprint Smartphone, 177.66, 4.4

Exibição de nome, preço do produto e frete​

Formato do resultado:

$serp.format('Nome: $title, preço: $price, preço do frete: $max_price\n');

Exemplo de resultado:

Nome: Apple iPhone 7 4G LTE Cell Phone 32/128GB/256GB IOS 12.0MP + 7.0MP Camera Quad-Core Fingerprint 4.7" 4K Video, preço: 165.9, preço do frete: Free Shipping
Nome: Used Unlocked Original Apple iPhone 7 Quad Core 4.7Inch 12.0MP Camera 4G LTE Mobile Phone Fingerprint Touch ID, preço: 154.08, preço do frete: Free Shipping
Nome: Apple iPhone 7 Plus Factory Original Mobile Phone 4G LTE 5.5" Dual Core A10 12MP RAM 3GB ROM 128GB Cell phone NFC, preço: 267.12, preço do frete: Free Shipping
Nome: Apple iPhone 7 Plus 3GB RAM 32/128GB/256GB IOS Cell Phone LTE 12.0MP Camera Apple Quad-Core Fingerprint 12MP 2910mA, preço: 261, preço do frete: 11.22
Nome: 100% Original iPhone 7 Quad Core 4.7 Inch 2GB RAM 32/128/256GB ROM 12.0MP Camera LTE IOS IPS Touch ID Unlocked Used Mobile Phone, preço: 171.61, preço do frete: Free Shipping
Nome: Apple iPhone 7 Factory Unlocked Original Mobile Phone 4G LTE 4.7" Dual Core A10 12MP RAM 2GB ROM 32GB/128GB/256GB Cell phone NFC, preço: 171.36, preço do frete: Free Shipping

Saída em tabela CSV​

Formato do resultado:

[% FOREACH item IN serp; 
tools.CSVline(item.link, item.title, item.price, item.rating, item.store);
END %]

Exemplo de resultado:

https://www.aliexpress.com/item/32829794248.html,"Apple iPhone 7 Plus Factory Original Mobile Phone 4G LTE 5.5"" Dual Core A10 12MP RAM 3GB ROM 128GB Cell phone NFC",267.12,4.6,"Topco-The Reliable Genuine Mobile Phone Store"
https://www.aliexpress.com/item/32874581363.html,"Apple iPhone 7 4G LTE Cell Phone 32/128GB/256GB IOS 12.0MP + 7.0MP Camera Quad-Core Fingerprint 4.7"" 4K Video",165.9,4.8,"Rainbow--The Most Reliable Original Mobile Phones Store"
https://www.aliexpress.com/item/32883871759.html,"Apple iPhone 7 Plus 3GB RAM 32/128GB/256GB ROM IOS Quad-Core 12.0MP Camera Fingerprint Original iPhone7 Plus LTE Mobile Phone",259,4.8,"HongKong CINGO Technology Co., Ltd."
https://www.aliexpress.com/item/32883875336.html,"Apple iPhone 7 4G LTE Mobile phone IOS Quad Core 2GB RAM 32/128GB/256GB ROM 12.0MP Fingerprint Original unlocked iphone7",179.6,4.9,"HongKong CINGO Technology Co., Ltd."
https://www.aliexpress.com/item/32874589153.html,"Apple iPhone 7 2GB RAM 32/128/256GB ROM 4.7"" IOS Cell Phone 12.0MP Camera Quad Core 4K Video LTE 1960mAh Touch ID",168.99,4.4,"Rainbow--The Most Reliable Original Mobile Phones Store"
https://www.aliexpress.com/item/32846368547.html,"100% Original iPhone 7 Quad Core 4.7 Inch 2GB RAM 32/128/256GB ROM 12.0MP Camera LTE IOS IPS Touch ID Unlocked Used Mobile Phone",171.61,4.8,"Refly-Original mobile phone store"
https://www.aliexpress.com/item/32979565350.html,"Original Apple iPhone 7 Plus Fingerprint 3GB RAM 32/128GB/256GB IOS Cell Phone LTE 12.0MP Camera Apple Quad-Core12MP Cellphone",254.74,5,"Ecoolkey Technology Co.,Ltd"
https://www.aliexpress.com/item/32795729059.html,"Apple iPhone 7 Plus GSM Unlocked 5.5"" 3GB Ram 32/128/256GB Rom iOS 4G Lte 12.0MP Dual-Rear Camera 2910mA Fingerprint Smartphones",263,5,"Summer Technology Co.,Ltd."
https://www.aliexpress.com/item/32881647077.html,"Original Apple iPhone 7&iPhone 7 plus 4G LTE IOS 12.0MP Camera Touch ID 32GB/128GB/256GB RO

Salvamento em formato SQL​

Formato do resultado:

[% FOREACH item IN serp;
"INSERT INTO serp VALUES('" _ item.title _ "', '"; item.store_link _ "', '"; item.ship_price _ "', '"; item.price _ "')\n";
END %]

Exemplo de resultado:

INSERT INTO serp VALUES('Apple iPhone 7 Plus 3GB RAM 32/128GB/256GB IOS Cell Phone LTE 12.0MP Camera Apple Quad-Core Fingerprint 12MP 2910mA', 'https://www.aliexpress.com/store/1110648', '', '272.22')
INSERT INTO serp VALUES('Apple iPhone 7 4G LTE Cell Phone 32/128GB/256GB IOS 12.0MP + 7.0MP Camera Quad-Core Fingerprint 4.7" 4K Video', 'https://www.aliexpress.com/store/1052671', 'Free Shipping', '165.9')
INSERT INTO serp VALUES('Apple iPhone 7 Plus 3GB RAM 32/128GB/256GB ROM IOS Quad-Core 12.0MP Camera Fingerprint Original iPhone7 Plus LTE Mobile Phone', 'https://www.aliexpress.com/store/1110648', '', '270.22')
INSERT INTO serp VALUES('Apple iPhone 7 4G LTE Mobile phone IOS Quad Core 2GB RAM 32/128GB/256GB ROM 12.0MP Fingerprint Original unlocked iphone7', 'https://www.aliexpress.com/store/1110648', '', '190.82')
INSERT INTO serp VALUES('Apple iPhone 7 2GB RAM 32/128/256GB ROM 4.7" IOS Cell Phone 12.0MP Camera Quad Core 4K Video LTE 1960mAh Touch ID', 'https://www.aliexpress.com/store/1052671', 'Free Shipping', '168.99')
INSERT INTO serp VALUES('100% Original iPhone 7 Quad Core 4.7 Inch 2GB RAM 32/128/256GB ROM 12.0MP Camera LTE IOS IPS Touch ID Unlocked Used Mobile Phone', 'https://www.aliexpress.com/store/1194206', 'Free Shipping', '171.61')
INSERT INTO serp VALUES('Original Apple iPhone 7 Plus Fingerprint 3GB RAM 32/128GB/256GB IOS Cell Phone LTE 12.0MP Camera Apple Quad-Core12MP Cellphone', 'https://www.aliexpress.com/store/709663', '', '307.37')
INSERT INTO serp VALUES('Original Apple iPhone 7&iPhone 7 plus 4G LTE IOS 12.0MP Camera Touch ID 32GB/128GB/256GB ROM Fingerprint used Smartphone', 'https://www.aliexpress.com/store/1309027', 'Free Shipping', '148')

Dump de resultados em JSON​

Formato geral do resultado:

[% IF notFirst;
",\n";
ELSE;
notFirst = 1;
END;

obj = {};
obj.items = [];

FOREACH item IN p1.serp;
obj.items.push({
link = item.link
title = item.title
price = item.price
});
END;

obj.json %]

Texto inicial:

[

Texto final:

]

Exemplo de resultado:

[
{
"items": [
{
"link": "https://www.aliexpress.com/item/32874581363.html",
"title": "Apple iPhone 7 4G LTE Cell Phone 32/128GB/256GB IOS 12.0MP + 7.0MP Camera Quad-Core Fingerprint 4.7\" 4K Video",
"price": 165.9
},
{
"link": "https://www.aliexpress.com/item/32874589153.html",
"title": "Apple iPhone 7 2GB RAM 32/128/256GB ROM 4.7\" IOS Cell Phone 12.0MP Camera Quad Core 4K Video LTE 1960mAh Touch ID",
"price": 168.99
},
{
"link": "https://www.aliexpress.com/item/32846368547.html",
"title": "100% Original iPhone 7 Quad Core 4.7 Inch 2GB RAM 32/128/256GB ROM 12.0MP Camera LTE IOS IPS Touch ID Unlocked Used Mobile Phone",
"price": 171.61
},
{
"link": "https://www.aliexpress.com/item/32855645663.html",
"title": "Used Unlocked Original Apple iPhone 7 Quad Core 4.7Inch 12.0MP Camera 4G LTE Mobile Phone Fingerprint Touch ID",
"price": 154.08
},
{
"link": "https://www.aliexpress.com/item/32883875336.html",
"title": "Apple iPhone 7 4G LTE Mobile phone IOS Quad Core 2GB RAM 32/128GB/256GB ROM 12.0MP Fingerprint Original unlocked iphone7",
"price": 179.6
},

]
}
]
dica

Para que as opções "Prepend text" e "Append text" estejam disponíveis no Editor de tarefas, é necessário ativar "More options".

Configurações possíveis​

ParâmetroValor padrãoDescrição
Pages count5Quantidade de páginas para extração de dados
Parse not found☑Define se deve extrair dados dos resultados caso o recurso informe que nada foi encontrado para a consulta especificada