Passer au contenu principal

Shop::AliExpress - scraper de produits AliExpress

AliExpress

Présentation du scraper​

En utilisant le scraper de produits AliExpress, vous pouvez collecter toutes les informations d'une fiche produit en définissant une liste de requêtes de recherche (noms des produits qui vous intéressent). Le scraper AliExpress est capable de collecter des volumes colossaux d'informations : vous pourrez obtenir des données sur les produits, constituer une base de liens vers les articles, suivre la dynamique des prix des produits et de la livraison, collecter les notes de classement et le nombre d'avis sur les produits, récupérer les images des produits et obtenir une liste des boutiques.

Grâce au traitement multithread d'A-Parser, le scraper de produits AliExpress permet de collecter jusqu'à 200 000 liens par minute.

Les fonctionnalités d'A-Parser permettent de sauvegarder les paramètres de collecte de données pour une utilisation ultérieure (présélections), de définir un calendrier de collecte et bien plus encore. Vous pouvez utiliser la multiplication automatique des requêtes, la substitution de sous-requêtes à partir de fichiers, le brassage de combinaisons alphanumériques et de listes pour obtenir le maximum de résultats possible.

Tâche lancée

Données collectées​

  • Lien vers le produit
  • Nom
  • Prix
  • Frais de livraison
  • Type de produit (d'occasion ou neuf)
  • Note (Rating)
  • Nombre de commandes
  • Lien vers l'image
  • Nom de la boutique et son lien
Données collectées

Cas d'utilisation​

  • Collecte de liens vers les produits
  • Suivi de la dynamique des prix des produits
  • Suivi de la dynamique des frais de livraison des produits
  • Évaluation du classement des produits
  • Collecte d'images de produits
  • Collecte de la liste des boutiques de produits et de leurs liens

Requêtes​

Comme requêtes, il est nécessaire d'indiquer les noms des produits, exactement comme si vous les saisissiez directement dans le formulaire de recherche d'AliExpress, par exemple :

iphone 11pro max
Souris Bluetooth sans fil, souris de jeu à domicile
Carte mémoire Micro Sd Sandisk, carte Micro Sd Class10 TF
AMD Ryzen R3 2200U

Substitutions de requêtes​

Vous pouvez utiliser les macros intégrées pour multiplier les requêtes, par exemple si nous voulons obtenir une très grande base de produits par marques :

philips
sony
xiaomi
samsung

Dans le format des requêtes, nous indiquerons un brassage de caractères de a à zzzz ; cette méthode permet de faire pivoter au maximum les résultats de recherche et d'obtenir de nombreux nouveaux résultats uniques :

$query {az:a:zzzz}

Cette macro créera 475254 requêtes supplémentaires pour chaque requête de recherche initiale, ce qui donnera au total 4 x 475254 = 1901016 requêtes de recherche. Le chiffre est impressionnant, mais ce n'est pas du tout un problème pour A-Parser. À une vitesse de 2000 requêtes par minute, une telle tâche sera traitée en seulement 16 heures.

Variantes d'affichage des résultats​

A-Parser prend en charge un formatage flexible des résultats grâce au moteur de gabarit intégré Template Toolkit, ce qui lui permet d'afficher les résultats sous une forme libre, ainsi que structurée, par exemple en CSV ou JSON.

Exportation d'une liste de liens​

Format du résultat :

$serp.format('$link\n');

Exemple de résultat :

https://www.aliexpress.com/item/32881647077.html
https://www.aliexpress.com/item/32828669111.html
https://www.aliexpress.com/item/32846368547.html
https://www.aliexpress.com/item/32874589153.html
https://www.aliexpress.com/item/32883875336.html
https://www.aliexpress.com/item/32851366164.html
https://www.aliexpress.com/item/32855645663.html
https://www.aliexpress.com/item/32815214672.html
https://www.aliexpress.com/item/33011711400.html
https://www.aliexpress.com/item/32881200824.html
https://www.aliexpress.com/item/32738738425.html
https://www.aliexpress.com/item/32883871759.html
https://www.aliexpress.com/item/32829794248.html
https://www.aliexpress.com/item/32822568852.html
https://www.aliexpress.com/item/32817751643.html
https://www.aliexpress.com/item/32824607605.html
https://www.aliexpress.com/item/33005326314.html
https://www.aliexpress.com/item/32979565350.html
https://www.aliexpress.com/item/32795729059.html
https://www.aliexpress.com/item/1005002617887161.html
https://www.aliexpress.com/item/4000007752405.html
https://www.aliexpress.com/item/1005002537902461.html
https://www.aliexpress.com/item/1005002970085353.html

Affichage du nom, du prix et de la note​

Format du résultat :

$serp.format('$title, $price, $rating\n');

Exemple de résultat :

Apple iPhone 7 4G LTE Cell Phone 32/128GB/256GB IOS 12.0MP + 7.0MP Camera Quad-Core Fingerprint 4.7" 4K Video, 165.9, 4.8
Used Unlocked Original Apple iPhone 7  Quad Core 4.7Inch 12.0MP Camera 4G LTE Mobile Phone Fingerprint Touch ID, 154.08, 4
Apple iPhone 7 Plus Factory Original Mobile Phone 4G LTE 5.5" Dual Core A10 12MP RAM 3GB ROM 128GB Cell phone NFC, 267.12, 4.6
Apple iPhone 7 2GB RAM 32/128/256GB ROM 4.7" IOS Cell Phone 12.0MP Camera Quad Core 4K Video LTE 1960mAh Touch ID, 168.99, 4.4
100% Original iPhone 7 Quad Core 4.7 Inch 2GB RAM 32/128/256GB ROM 12.0MP Camera LTE IOS IPS Touch ID Unlocked Used Mobile Phone, 171.61, 4.8
Apple iPhone 7 Plus 3GB RAM 32/128GB/256GB IOS Cell Phone LTE 12.0MP Camera Apple Quad-Core Fingerprint 12MP 2910mA, 261, 4.8
Apple iPhone 7 Factory Unlocked Original Mobile Phone 4G LTE 4.7" Dual Core A10 12MP RAM 2GB ROM 32GB/128GB/256GB Cell phone NFC, 171.36, 4.8
Apple iPhone 7 4G LTE Mobile phone IOS Quad Core 2GB RAM 32/128GB/256GB ROM 12.0MP Fingerprint Original unlocked iphone7, 179.6, 4.9
Apple iPhone 7 Plus 3GB RAM 32/128GB/256GB ROM IOS Quad-Core 12.0MP Camera Fingerprint Original iPhone7 Plus LTE Mobile Phone, 259, 4.8
Original Apple iPhone 7 4G LTE Mobile phone Quad Core 2GB RAM 32G/128/256GB IOS  12.0MP Fingerprint  Cell Phones, 171.75, 4.4
Apple iPhone 7 Plus GSM Unlocked 5.5" 3GB Ram 32/128/256GB Rom iOS 4G Lte 12.0MP Dual-Rear Camera 2910mA Fingerprint Smartphones, 263, 5
Unlocked Original Apple iPhone 7 / iPhone 7 Plus Quad-core Mobile phone 12.0MP camera 32G/128G/256G Rom IOS Fingerprint phone, 171.32, 4.5
Original Apple iPhone 7 Plus Factory Unlocked Mobile Phone 12MP Two Camera Wide-Angle 4G LTE 5.5" Quad Core A10 3G RAM 128G ROM, 259.94, 4.9
Original Apple iPhone 7 Plus Fingerprint 3GB RAM 32/128GB/256GB IOS Cell Phone LTE 12.0MP Camera Apple Quad-Core12MP Cellphone, 254.74, 5
Original Apple iPhone 7 32GB/128GB 4G LTE iphone7 Mobile phone IOS Quad Core cellphone  4.7'' 12.0 MP Fingerprint Smartphone, 177.66, 4.4

Affichage du nom, du prix du produit et de la livraison​

Format du résultat :

$serp.format('Nom: $title, prix: $price, prix de livraison: $max_price\n');

Exemple de résultat :

Nom: Apple iPhone 7 4G LTE Cell Phone 32/128GB/256GB IOS 12.0MP + 7.0MP Camera Quad-Core Fingerprint 4.7" 4K Video, prix: 165.9, prix de livraison: Free Shipping
Nom: Used Unlocked Original Apple iPhone 7  Quad Core 4.7Inch 12.0MP Camera 4G LTE Mobile Phone Fingerprint Touch ID, prix: 154.08, prix de livraison: Free Shipping
Nom: Apple iPhone 7 Plus Factory Original Mobile Phone 4G LTE 5.5" Dual Core A10 12MP RAM 3GB ROM 128GB Cell phone NFC, prix: 267.12, prix de livraison: Free Shipping
Nom: Apple iPhone 7 Plus 3GB RAM 32/128GB/256GB IOS Cell Phone LTE 12.0MP Camera Apple Quad-Core Fingerprint 12MP 2910mA, prix: 261, prix de livraison: 11.22
Nom: 100% Original iPhone 7 Quad Core 4.7 Inch 2GB RAM 32/128/256GB ROM 12.0MP Camera LTE IOS IPS Touch ID Unlocked Used Mobile Phone, prix: 171.61, prix de livraison: Free Shipping
Nom: Apple iPhone 7 Factory Unlocked Original Mobile Phone 4G LTE 4.7" Dual Core A10 12MP RAM 2GB ROM 32GB/128GB/256GB Cell phone NFC, prix: 171.36, prix de livraison: Free Shipping

Sortie dans un tableau CSV​

Format du résultat :

[% FOREACH item IN serp; 
    tools.CSVline(item.link, item.title, item.price, item.rating, item.store);
END %]

Exemple de résultat :

https://www.aliexpress.com/item/32829794248.html,"Apple iPhone 7 Plus Factory Original Mobile Phone 4G LTE 5.5"" Dual Core A10 12MP RAM 3GB ROM 128GB Cell phone NFC",267.12,4.6,"Topco-The Reliable Genuine Mobile Phone Store"
https://www.aliexpress.com/item/32874581363.html,"Apple iPhone 7 4G LTE Cell Phone 32/128GB/256GB IOS 12.0MP + 7.0MP Camera Quad-Core Fingerprint 4.7"" 4K Video",165.9,4.8,"Rainbow--The Most Reliable Original Mobile Phones Store"
https://www.aliexpress.com/item/32883871759.html,"Apple iPhone 7 Plus 3GB RAM 32/128GB/256GB ROM IOS Quad-Core 12.0MP Camera Fingerprint Original iPhone7 Plus LTE Mobile Phone",259,4.8,"HongKong CINGO Technology Co., Ltd."
https://www.aliexpress.com/item/32883875336.html,"Apple iPhone 7 4G LTE Mobile phone IOS Quad Core 2GB RAM 32/128GB/256GB ROM 12.0MP Fingerprint Original unlocked iphone7",179.6,4.9,"HongKong CINGO Technology Co., Ltd."
https://www.aliexpress.com/item/32874589153.html,"Apple iPhone 7 2GB RAM 32/128/256GB ROM 4.7"" IOS Cell Phone 12.0MP Camera Quad Core 4K Video LTE 1960mAh Touch ID",168.99,4.4,"Rainbow--The Most Reliable Original Mobile Phones Store"
https://www.aliexpress.com/item/32846368547.html,"100% Original iPhone 7 Quad Core 4.7 Inch 2GB RAM 32/128/256GB ROM 12.0MP Camera LTE IOS IPS Touch ID Unlocked Used Mobile Phone",171.61,4.8,"Refly-Original mobile phone store"
https://www.aliexpress.com/item/32979565350.html,"Original Apple iPhone 7 Plus Fingerprint 3GB RAM 32/128GB/256GB IOS Cell Phone LTE 12.0MP Camera Apple Quad-Core12MP Cellphone",254.74,5,"Ecoolkey Technology Co.,Ltd"
https://www.aliexpress.com/item/32795729059.html,"Apple iPhone 7 Plus GSM Unlocked 5.5"" 3GB Ram 32/128/256GB Rom iOS 4G Lte 12.0MP Dual-Rear Camera 2910mA Fingerprint Smartphones",263,5,"Summer Technology Co.,Ltd."
https://www.aliexpress.com/item/32881647077.html,"Original Apple iPhone 7&iPhone 7 plus 4G LTE IOS 12.0MP Camera Touch ID 32GB/128GB/256GB RO

Sauvegarde au format SQL​

Format du résultat :

[% FOREACH item IN serp;
    "INSERT INTO serp VALUES('" _ item.title _ "', '"; item.store_link _ "', '";    item.ship_price _ "', '";   item.price _ "')\n"; 
END %]

Exemple de résultat :

INSERT INTO serp VALUES('Apple iPhone 7 Plus 3GB RAM 32/128GB/256GB IOS Cell Phone LTE 12.0MP Camera Apple Quad-Core Fingerprint 12MP 2910mA', 'https://www.aliexpress.com/store/1110648', '', '272.22')
INSERT INTO serp VALUES('Apple iPhone 7 4G LTE Cell Phone 32/128GB/256GB IOS 12.0MP + 7.0MP Camera Quad-Core Fingerprint 4.7" 4K Video', 'https://www.aliexpress.com/store/1052671', 'Free Shipping', '165.9')
INSERT INTO serp VALUES('Apple iPhone 7 Plus 3GB RAM 32/128GB/256GB ROM IOS Quad-Core 12.0MP Camera Fingerprint Original iPhone7 Plus LTE Mobile Phone', 'https://www.aliexpress.com/store/1110648', '', '270.22')
INSERT INTO serp VALUES('Apple iPhone 7 4G LTE Mobile phone IOS Quad Core 2GB RAM 32/128GB/256GB ROM 12.0MP Fingerprint Original unlocked iphone7', 'https://www.aliexpress.com/store/1110648', '', '190.82')
INSERT INTO serp VALUES('Apple iPhone 7 2GB RAM 32/128/256GB ROM 4.7" IOS Cell Phone 12.0MP Camera Quad Core 4K Video LTE 1960mAh Touch ID', 'https://www.aliexpress.com/store/1052671', 'Free Shipping', '168.99')
INSERT INTO serp VALUES('100% Original iPhone 7 Quad Core 4.7 Inch 2GB RAM 32/128/256GB ROM 12.0MP Camera LTE IOS IPS Touch ID Unlocked Used Mobile Phone', 'https://www.aliexpress.com/store/1194206', 'Free Shipping', '171.61')
INSERT INTO serp VALUES('Original Apple iPhone 7 Plus Fingerprint 3GB RAM 32/128GB/256GB IOS Cell Phone LTE 12.0MP Camera Apple Quad-Core12MP Cellphone', 'https://www.aliexpress.com/store/709663', '', '307.37')
INSERT INTO serp VALUES('Original Apple iPhone 7&iPhone 7 plus 4G LTE IOS 12.0MP Camera Touch ID 32GB/128GB/256GB ROM Fingerprint used Smartphone', 'https://www.aliexpress.com/store/1309027', 'Free Shipping', '148')

Dump des résultats en JSON​

Format de sortie general:

[% IF notFirst;
  ",\n";
ELSE;
  notFirst = 1;
END;

obj = {};
obj.items = [];

FOREACH item IN p1.serp;
    obj.items.push({
        link = item.link
        title = item.title
        price = item.price
    });
END;

obj.json %]

Texte initial:

[

Texte final:

]

Exemple de résultat :

[
    {
        "items": [
            {
                "link": "https://www.aliexpress.com/item/32874581363.html",
                "title": "Apple iPhone 7 4G LTE Cell Phone 32/128GB/256GB IOS 12.0MP + 7.0MP Camera Quad-Core Fingerprint 4.7\" 4K Video",
                "price": 165.9
            },
            {
                "link": "https://www.aliexpress.com/item/32874589153.html",
                "title": "Apple iPhone 7 2GB RAM 32/128/256GB ROM 4.7\" IOS Cell Phone 12.0MP Camera Quad Core 4K Video LTE 1960mAh Touch ID",
                "price": 168.99
            },
            {
                "link": "https://www.aliexpress.com/item/32846368547.html",
                "title": "100% Original iPhone 7 Quad Core 4.7 Inch 2GB RAM 32/128/256GB ROM 12.0MP Camera LTE IOS IPS Touch ID Unlocked Used Mobile Phone",
                "price": 171.61
            },
            {
                "link": "https://www.aliexpress.com/item/32855645663.html",
                "title": "Used Unlocked Original Apple iPhone 7  Quad Core 4.7Inch 12.0MP Camera 4G LTE Mobile Phone Fingerprint Touch ID",
                "price": 154.08
            },
            {
                "link": "https://www.aliexpress.com/item/32883875336.html",
                "title": "Apple iPhone 7 4G LTE Mobile phone IOS Quad Core 2GB RAM 32/128GB/256GB ROM 12.0MP Fingerprint Original unlocked iphone7",
                "price": 179.6
            },
            
        ]
    }
]
astuce

Pour que les options "Texte initial" et "Texte final" soient disponibles dans l'Éditeur de tâches, vous devez activer "Plus d'options".

Paramètres possibles​

note

Paramètres communs pour tous les scrapers

ParamètreValeur par défautDescription
Pages count5Nombre de pages à scraper
Parse not found☑Détermine s'il faut scraper les résultats si la ressource a signalé que rien n'a été trouvé pour la requête indiquée