Shop::AliExpress - AliExpress product scraper
Overzicht van de scraper
Met de AliExpress product scraper kunt u alle informatie van een productpagina verzamelen door een lijst met zoekopdrachten op te geven (namen van de producten waarin u geïnteresseerd bent). De AliExpress scraper is in staat om enorme hoeveelheden informatie te verzamelen; u kunt gegevens over producten verkrijgen, een database met productlinks opbouwen, de prijsdynamiek van producten en verzending volgen, beoordelingen en het aantal reviews verzamelen, productafbeeldingen downloaden en een lijst met winkels verkrijgen.
Dankzij de multithreading van A-Parser kan de scraper voor producten van AliExpress tot wel 200.000 links per minuut verzamelen.
De functionaliteit van A-Parser stelt u in staat om instellingen voor gegevensextractie op te slaan voor toekomstig gebruik (presets), schema's voor gegevensextractie in te stellen en nog veel meer. U kunt gebruikmaken van automatische query-vermenigvuldiging, substitutie van sub-queries uit bestanden, het doorlopen van alfanumerieke combinaties en lijsten om het maximaal mogelijke aantal resultaten te verkrijgen.
Verzamelde gegevens
- Link naar het product
- Naam
- Prijs
- Verzendkosten
- Producttype (gebruikt of nieuw)
- Beoordeling
- Aantal bestellingen
- Link naar de afbeelding
- Winkelnaam en link naar de winkel
Toepassingen
- Verzamelen van links naar producten
- Volgen van prijsdynamiek van producten
- Volgen van prijsdynamiek van verzendkosten
- Beoordeling van productratings
- Verzamelen van productafbeeldingen
- Verzamelen van een lijst met winkels en hun links
Zoekopdrachten
Als zoekopdrachten moet u productnamen opgeven, precies zoals u ze rechtstreeks in het zoekveld van AliExpress zou invoeren, bijvoorbeeld:
iphone 11pro max
Draadloze Bluetooth-muis, gamingmuis voor thuis
Micro Sd Sandisk geheugenkaart, Micro Sd Class10 TF kaart
AMD Ryzen R3 2200U
Query-substituties
U kunt ingebouwde macro's gebruiken voor het vermenigvuldigen van zoekopdrachten, bijvoorbeeld als we een zeer grote database met producten per merk willen verkrijgen:
philips
sony
xiaomi
samsung
In het query-formaat geven we een bereik van tekens op van a tot zzzz; deze methode maakt het mogelijk om de zoekresultaten maximaal te roteren en veel nieuwe unieke resultaten te verkrijgen:
$query {az:a:zzzz}
Deze macro genereert 475254 extra zoekopdrachten voor elke oorspronkelijke zoekopdracht, wat in totaal neerkomt op 4 x 475254 = 1901016 zoekopdrachten. Dit is een indrukwekkend getal, maar voor A-Parser is dit geen enkel probleem. Bij een snelheid van 2000 zoekopdrachten per minuut wordt een dergelijke taak in slechts 16 uur verwerkt.
Varianten voor resultaatweergave
A-Parser ondersteunt flexibele formattering van resultaten dankzij de ingebouwde sjabloon-engine Template Toolkit, waardoor resultaten in een willekeurige vorm kunnen worden weergegeven, evenals in gestructureerde formaten zoals CSV of JSON.
Exporteren van een lijst met links
Resultaatformaat:
$serp.format('$link\n');
Voorbeeld van het resultaat:
https://www.aliexpress.com/item/32881647077.html
https://www.aliexpress.com/item/32828669111.html
https://www.aliexpress.com/item/32846368547.html
https://www.aliexpress.com/item/32874589153.html
https://www.aliexpress.com/item/32883875336.html
https://www.aliexpress.com/item/32851366164.html
https://www.aliexpress.com/item/32855645663.html
https://www.aliexpress.com/item/32815214672.html
https://www.aliexpress.com/item/33011711400.html
https://www.aliexpress.com/item/32881200824.html
https://www.aliexpress.com/item/32738738425.html
https://www.aliexpress.com/item/32883871759.html
https://www.aliexpress.com/item/32829794248.html
https://www.aliexpress.com/item/32822568852.html
https://www.aliexpress.com/item/32817751643.html
https://www.aliexpress.com/item/32824607605.html
https://www.aliexpress.com/item/33005326314.html
https://www.aliexpress.com/item/32979565350.html
https://www.aliexpress.com/item/32795729059.html
https://www.aliexpress.com/item/1005002617887161.html
https://www.aliexpress.com/item/4000007752405.html
https://www.aliexpress.com/item/1005002537902461.html
https://www.aliexpress.com/item/1005002970085353.html
Weergave van naam, prijs en beoordeling
Resultaatformaat:
$serp.format('$title, $price, $rating\n');
Voorbeeld van het resultaat:
Apple iPhone 7 4G LTE Cell Phone 32/128GB/256GB IOS 12.0MP + 7.0MP Camera Quad-Core Fingerprint 4.7" 4K Video, 165.9, 4.8
Used Unlocked Original Apple iPhone 7 Quad Core 4.7Inch 12.0MP Camera 4G LTE Mobile Phone Fingerprint Touch ID, 154.08, 4
Apple iPhone 7 Plus Factory Original Mobile Phone 4G LTE 5.5" Dual Core A10 12MP RAM 3GB ROM 128GB Cell phone NFC, 267.12, 4.6
Apple iPhone 7 2GB RAM 32/128/256GB ROM 4.7" IOS Cell Phone 12.0MP Camera Quad Core 4K Video LTE 1960mAh Touch ID, 168.99, 4.4
100% Original iPhone 7 Quad Core 4.7 Inch 2GB RAM 32/128/256GB ROM 12.0MP Camera LTE IOS IPS Touch ID Unlocked Used Mobile Phone, 171.61, 4.8
Apple iPhone 7 Plus 3GB RAM 32/128GB/256GB IOS Cell Phone LTE 12.0MP Camera Apple Quad-Core Fingerprint 12MP 2910mA, 261, 4.8
Apple iPhone 7 Factory Unlocked Original Mobile Phone 4G LTE 4.7" Dual Core A10 12MP RAM 2GB ROM 32GB/128GB/256GB Cell phone NFC, 171.36, 4.8
Apple iPhone 7 4G LTE Mobile phone IOS Quad Core 2GB RAM 32/128GB/256GB ROM 12.0MP Fingerprint Original unlocked iphone7, 179.6, 4.9
Apple iPhone 7 Plus 3GB RAM 32/128GB/256GB ROM IOS Quad-Core 12.0MP Camera Fingerprint Original iPhone7 Plus LTE Mobile Phone, 259, 4.8
Original Apple iPhone 7 4G LTE Mobile phone Quad Core 2GB RAM 32G/128/256GB IOS 12.0MP Fingerprint Cell Phones, 171.75, 4.4
Apple iPhone 7 Plus GSM Unlocked 5.5" 3GB Ram 32/128/256GB Rom iOS 4G Lte 12.0MP Dual-Rear Camera 2910mA Fingerprint Smartphones, 263, 5
Unlocked Original Apple iPhone 7 / iPhone 7 Plus Quad-core Mobile phone 12.0MP camera 32G/128G/256G Rom IOS Fingerprint phone, 171.32, 4.5
Original Apple iPhone 7 Plus Factory Unlocked Mobile Phone 12MP Two Camera Wide-Angle 4G LTE 5.5" Quad Core A10 3G RAM 128G ROM, 259.94, 4.9
Original Apple iPhone 7 Plus Fingerprint 3GB RAM 32/128GB/256GB IOS Cell Phone LTE 12.0MP Camera Apple Quad-Core12MP Cellphone, 254.74, 5
Original Apple iPhone 7 32GB/128GB 4G LTE iphone7 Mobile phone IOS Quad Core cellphone 4.7'' 12.0 MP Fingerprint Smartphone, 177.66, 4.4
Weergave van naam, productprijs en verzendkosten
Resultaatformaat:
$serp.format('Naam: $title, prijs: $price, verzendkosten: $max_price\n');
Voorbeeld van het resultaat:
Naam: Apple iPhone 7 4G LTE Cell Phone 32/128GB/256GB IOS 12.0MP + 7.0MP Camera Quad-Core Fingerprint 4.7" 4K Video, prijs: 165.9, verzendkosten: Free Shipping
Naam: Used Unlocked Original Apple iPhone 7 Quad Core 4.7Inch 12.0MP Camera 4G LTE Mobile Phone Fingerprint Touch ID, prijs: 154.08, verzendkosten: Free Shipping
Naam: Apple iPhone 7 Plus Factory Original Mobile Phone 4G LTE 5.5" Dual Core A10 12MP RAM 3GB ROM 128GB Cell phone NFC, prijs: 267.12, verzendkosten: Free Shipping
Naam: Apple iPhone 7 Plus 3GB RAM 32/128GB/256GB IOS Cell Phone LTE 12.0MP Camera Apple Quad-Core Fingerprint 12MP 2910mA, prijs: 261, verzendkosten: 11.22
Naam: 100% Original iPhone 7 Quad Core 4.7 Inch 2GB RAM 32/128/256GB ROM 12.0MP Camera LTE IOS IPS Touch ID Unlocked Used Mobile Phone, prijs: 171.61, verzendkosten: Free Shipping
Naam: Apple iPhone 7 Factory Unlocked Original Mobile Phone 4G LTE 4.7" Dual Core A10 12MP RAM 2GB ROM 32GB/128GB/256GB Cell phone NFC, prijs: 171.36, verzendkosten: Free Shipping
Uitvoer naar CSV-tabel
Resultaatformaat:
[% FOREACH item IN serp;
tools.CSVline(item.link, item.title, item.price, item.rating, item.store);
END %]
Voorbeeld van het resultaat:
https://www.aliexpress.com/item/32829794248.html,"Apple iPhone 7 Plus Factory Original Mobile Phone 4G LTE 5.5"" Dual Core A10 12MP RAM 3GB ROM 128GB Cell phone NFC",267.12,4.6,"Topco-The Reliable Genuine Mobile Phone Store"
https://www.aliexpress.com/item/32874581363.html,"Apple iPhone 7 4G LTE Cell Phone 32/128GB/256GB IOS 12.0MP + 7.0MP Camera Quad-Core Fingerprint 4.7"" 4K Video",165.9,4.8,"Rainbow--The Most Reliable Original Mobile Phones Store"
https://www.aliexpress.com/item/32883871759.html,"Apple iPhone 7 Plus 3GB RAM 32/128GB/256GB ROM IOS Quad-Core 12.0MP Camera Fingerprint Original iPhone7 Plus LTE Mobile Phone",259,4.8,"HongKong CINGO Technology Co., Ltd."
https://www.aliexpress.com/item/32883875336.html,"Apple iPhone 7 4G LTE Mobile phone IOS Quad Core 2GB RAM 32/128GB/256GB ROM 12.0MP Fingerprint Original unlocked iphone7",179.6,4.9,"HongKong CINGO Technology Co., Ltd."
https://www.aliexpress.com/item/32874589153.html,"Apple iPhone 7 2GB RAM 32/128/256GB ROM 4.7"" IOS Cell Phone 12.0MP Camera Quad Core 4K Video LTE 1960mAh Touch ID",168.99,4.4,"Rainbow--The Most Reliable Original Mobile Phones Store"
https://www.aliexpress.com/item/32846368547.html,"100% Original iPhone 7 Quad Core 4.7 Inch 2GB RAM 32/128/256GB ROM 12.0MP Camera LTE IOS IPS Touch ID Unlocked Used Mobile Phone",171.61,4.8,"Refly-Original mobile phone store"
https://www.aliexpress.com/item/32979565350.html,"Original Apple iPhone 7 Plus Fingerprint 3GB RAM 32/128GB/256GB IOS Cell Phone LTE 12.0MP Camera Apple Quad-Core12MP Cellphone",254.74,5,"Ecoolkey Technology Co.,Ltd"
https://www.aliexpress.com/item/32795729059.html,"Apple iPhone 7 Plus GSM Unlocked 5.5"" 3GB Ram 32/128/256GB Rom iOS 4G Lte 12.0MP Dual-Rear Camera 2910mA Fingerprint Smartphones",263,5,"Summer Technology Co.,Ltd."
https://www.aliexpress.com/item/32881647077.html,"Original Apple iPhone 7&iPhone 7 plus 4G LTE IOS 12.0MP Camera Touch ID 32GB/128GB/256GB RO
Opslaan in SQL-formaat
Resultaatformaat:
[% FOREACH item IN serp;
"INSERT INTO serp VALUES('" _ item.title _ "', '"; item.store_link _ "', '"; item.ship_price _ "', '"; item.price _ "')\n";
END %]
Voorbeeld van het resultaat:
INSERT INTO serp VALUES('Apple iPhone 7 Plus 3GB RAM 32/128GB/256GB IOS Cell Phone LTE 12.0MP Camera Apple Quad-Core Fingerprint 12MP 2910mA', 'https://www.aliexpress.com/store/1110648', '', '272.22')
INSERT INTO serp VALUES('Apple iPhone 7 4G LTE Cell Phone 32/128GB/256GB IOS 12.0MP + 7.0MP Camera Quad-Core Fingerprint 4.7" 4K Video', 'https://www.aliexpress.com/store/1052671', 'Free Shipping', '165.9')
INSERT INTO serp VALUES('Apple iPhone 7 Plus 3GB RAM 32/128GB/256GB ROM IOS Quad-Core 12.0MP Camera Fingerprint Original iPhone7 Plus LTE Mobile Phone', 'https://www.aliexpress.com/store/1110648', '', '270.22')
INSERT INTO serp VALUES('Apple iPhone 7 4G LTE Mobile phone IOS Quad Core 2GB RAM 32/128GB/256GB ROM 12.0MP Fingerprint Original unlocked iphone7', 'https://www.aliexpress.com/store/1110648', '', '190.82')
INSERT INTO serp VALUES('Apple iPhone 7 2GB RAM 32/128/256GB ROM 4.7" IOS Cell Phone 12.0MP Camera Quad Core 4K Video LTE 1960mAh Touch ID', 'https://www.aliexpress.com/store/1052671', 'Free Shipping', '168.99')
INSERT INTO serp VALUES('100% Original iPhone 7 Quad Core 4.7 Inch 2GB RAM 32/128/256GB ROM 12.0MP Camera LTE IOS IPS Touch ID Unlocked Used Mobile Phone', 'https://www.aliexpress.com/store/1194206', 'Free Shipping', '171.61')
INSERT INTO serp VALUES('Original Apple iPhone 7 Plus Fingerprint 3GB RAM 32/128GB/256GB IOS Cell Phone LTE 12.0MP Camera Apple Quad-Core12MP Cellphone', 'https://www.aliexpress.com/store/709663', '', '307.37')
INSERT INTO serp VALUES('Original Apple iPhone 7&iPhone 7 plus 4G LTE IOS 12.0MP Camera Touch ID 32GB/128GB/256GB ROM Fingerprint used Smartphone', 'https://www.aliexpress.com/store/1309027', 'Free Shipping', '148')
Dump van resultaten in JSON
Algemeen resultaatformaat:
[% IF notFirst;
",\n";
ELSE;
notFirst = 1;
END;
obj = {};
obj.items = [];
FOREACH item IN p1.serp;
obj.items.push({
link = item.link
title = item.title
price = item.price
});
END;
obj.json %]
Begintekst:
[
Eindtekst:
]
Voorbeeld van het resultaat:
[
{
"items": [
{
"link": "https://www.aliexpress.com/item/32874581363.html",
"title": "Apple iPhone 7 4G LTE Cell Phone 32/128GB/256GB IOS 12.0MP + 7.0MP Camera Quad-Core Fingerprint 4.7\" 4K Video",
"price": 165.9
},
{
"link": "https://www.aliexpress.com/item/32874589153.html",
"title": "Apple iPhone 7 2GB RAM 32/128/256GB ROM 4.7\" IOS Cell Phone 12.0MP Camera Quad Core 4K Video LTE 1960mAh Touch ID",
"price": 168.99
},
{
"link": "https://www.aliexpress.com/item/32846368547.html",
"title": "100% Original iPhone 7 Quad Core 4.7 Inch 2GB RAM 32/128/256GB ROM 12.0MP Camera LTE IOS IPS Touch ID Unlocked Used Mobile Phone",
"price": 171.61
},
{
"link": "https://www.aliexpress.com/item/32855645663.html",
"title": "Used Unlocked Original Apple iPhone 7 Quad Core 4.7Inch 12.0MP Camera 4G LTE Mobile Phone Fingerprint Touch ID",
"price": 154.08
},
{
"link": "https://www.aliexpress.com/item/32883875336.html",
"title": "Apple iPhone 7 4G LTE Mobile phone IOS Quad Core 2GB RAM 32/128GB/256GB ROM 12.0MP Fingerprint Original unlocked iphone7",
"price": 179.6
},
]
}
]
tip
Om de opties "Prepend text" en "Append text" beschikbaar te maken in de Task Editor, moet u "More options" activeren.
Mogelijke instellingen
| Parameter | Standaardwaarde | Beschrijving |
|---|---|---|
| Pages count | 5 | Aantal pagina's om te scrapen |
| Parse not found | ☑ | Bepaalt of de resultaten moeten worden gescraped als de bron meldt dat er niets is gevonden voor de opgegeven zoekopdracht |