Shop::AliExpress - AliExpress商品スクレイパー

スクレイパーの概要

AliExpress商品スクレイパーを使用すると、検索クエリ（興味のある商品の名前）のリストを指定することで、商品カードからすべての情報を収集できます。Aliexpressスクレイパーは膨大な量の情報を収集することができ、商品データの取得、商品リンクのデータベース構築、商品価格と配送の動向追跡、評価とレビュー数の収集、商品画像の取得、ショップリストの取得が可能です。

A-Parserのマルチスレッド動作により、AliExpress商品スクレイパーは1分間に最大200,000リンクを収集できます。

A-Parserの機能により、スクレイピング設定を将来の使用のために保存（プリセット）したり、スクレイピングスケジュールを設定したりすることが可能です。自動クエリ増殖、ファイルからのサブクエリ置換、英数字の組み合わせやリストの総当たりを使用して、可能な限り多くの結果を取得できます。

オンラインデモへ A-Parser Proを購入 ($299)

収集データ

商品リンク
名称
価格
配送料
製品タイプ（中古または新品）
レーティング
注文数
画像リンク
ショップ名とショップリンク

ユースケース

商品リンクの収集
商品価格の動向追跡
商品配送料の動向追跡
商品レーティングの評価
商品画像の収集
商品のショップリストとリンクの収集

クエリ

クエリには、AliExpressの検索フォームに直接入力する場合と同じように、商品名を指定する必要があります。例：

iphone 11pro max
Bluetoothワイヤレスマウス、家庭用ゲーミングマウス
Micro Sd Sandiskメモリカード、Micro Sd Class10 TFカード
AMD Ryzen R3 2200U

クエリ置換

クエリを増殖させるために組み込みマクロを使用できます。例えば、ブランドごとに非常に大きな商品データベースを取得したい場合：

philips
sony
xiaomi
samsung

クエリ形式でaからzzzzまでの文字の総当たりを指定します。このメソッドにより、検索結果を最大限にローテーションさせ、多くの新しいユニークな結果を得ることができます：

$query {az:a:zzzz}

このマクロは、元の検索クエリごとに 475254 個の追加クエリを作成し、合計で 4 x 475254 = 1901016 個の検索クエリになります。驚異的な数字ですが、A-Parserにとっては全く問題ありません。1分間に 2000 クエリの速度であれば、このタスクは約 16 時間で処理されます。

結果の出力例

A-Parserは組み込みのテンプレートエンジン Template Toolkit により柔軟な結果フォーマットをサポートしており、任意の形式や、CSVやJSONなどの構造化された形式で結果を出力できます。

リンク一覧のエクスポート

結果フォーマット：

$serp.format('$link\n');

結果の例：

https://www.aliexpress.com/item/32881647077.html
https://www.aliexpress.com/item/32828669111.html
https://www.aliexpress.com/item/32846368547.html
https://www.aliexpress.com/item/32874589153.html
https://www.aliexpress.com/item/32883875336.html
https://www.aliexpress.com/item/32851366164.html
https://www.aliexpress.com/item/32855645663.html
https://www.aliexpress.com/item/32815214672.html
https://www.aliexpress.com/item/33011711400.html
https://www.aliexpress.com/item/32881200824.html
https://www.aliexpress.com/item/32738738425.html
https://www.aliexpress.com/item/32883871759.html
https://www.aliexpress.com/item/32829794248.html
https://www.aliexpress.com/item/32822568852.html
https://www.aliexpress.com/item/32817751643.html
https://www.aliexpress.com/item/32824607605.html
https://www.aliexpress.com/item/33005326314.html
https://www.aliexpress.com/item/32979565350.html
https://www.aliexpress.com/item/32795729059.html
https://www.aliexpress.com/item/1005002617887161.html
https://www.aliexpress.com/item/4000007752405.html
https://www.aliexpress.com/item/1005002537902461.html
https://www.aliexpress.com/item/1005002970085353.html

名称、価格、レーティングの出力

結果フォーマット：

$serp.format('$title, $price, $rating\n');

結果の例：

Apple iPhone 7 4G LTE Cell Phone 32/128GB/256GB IOS 12.0MP + 7.0MP Camera Quad-Core Fingerprint 4.7" 4K Video, 165.9, 4.8
Used Unlocked Original Apple iPhone 7  Quad Core 4.7Inch 12.0MP Camera 4G LTE Mobile Phone Fingerprint Touch ID, 154.08, 4
Apple iPhone 7 Plus Factory Original Mobile Phone 4G LTE 5.5" Dual Core A10 12MP RAM 3GB ROM 128GB Cell phone NFC, 267.12, 4.6
Apple iPhone 7 2GB RAM 32/128/256GB ROM 4.7" IOS Cell Phone 12.0MP Camera Quad Core 4K Video LTE 1960mAh Touch ID, 168.99, 4.4
100% Original iPhone 7 Quad Core 4.7 Inch 2GB RAM 32/128/256GB ROM 12.0MP Camera LTE IOS IPS Touch ID Unlocked Used Mobile Phone, 171.61, 4.8
Apple iPhone 7 Plus 3GB RAM 32/128GB/256GB IOS Cell Phone LTE 12.0MP Camera Apple Quad-Core Fingerprint 12MP 2910mA, 261, 4.8
Apple iPhone 7 Factory Unlocked Original Mobile Phone 4G LTE 4.7" Dual Core A10 12MP RAM 2GB ROM 32GB/128GB/256GB Cell phone NFC, 171.36, 4.8
Apple iPhone 7 4G LTE Mobile phone IOS Quad Core 2GB RAM 32/128GB/256GB ROM 12.0MP Fingerprint Original unlocked iphone7, 179.6, 4.9
Apple iPhone 7 Plus 3GB RAM 32/128GB/256GB ROM IOS Quad-Core 12.0MP Camera Fingerprint Original iPhone7 Plus LTE Mobile Phone, 259, 4.8
Original Apple iPhone 7 4G LTE Mobile phone Quad Core 2GB RAM 32G/128/256GB IOS  12.0MP Fingerprint  Cell Phones, 171.75, 4.4
Apple iPhone 7 Plus GSM Unlocked 5.5" 3GB Ram 32/128/256GB Rom iOS 4G Lte 12.0MP Dual-Rear Camera 2910mA Fingerprint Smartphones, 263, 5
Unlocked Original Apple iPhone 7 / iPhone 7 Plus Quad-core Mobile phone 12.0MP camera 32G/128G/256G Rom IOS Fingerprint phone, 171.32, 4.5
Original Apple iPhone 7 Plus Factory Unlocked Mobile Phone 12MP Two Camera Wide-Angle 4G LTE 5.5" Quad Core A10 3G RAM 128G ROM, 259.94, 4.9
Original Apple iPhone 7 Plus Fingerprint 3GB RAM 32/128GB/256GB IOS Cell Phone LTE 12.0MP Camera Apple Quad-Core12MP Cellphone, 254.74, 5
Original Apple iPhone 7 32GB/128GB 4G LTE iphone7 Mobile phone IOS Quad Core cellphone  4.7'' 12.0 MP Fingerprint Smartphone, 177.66, 4.4

名称、商品価格、配送料の出力

結果フォーマット：

$serp.format('名称: $title, 価格: $price, 配送料: $max_price\n');

結果の例：

名称: Apple iPhone 7 4G LTE Cell Phone 32/128GB/256GB IOS 12.0MP + 7.0MP Camera Quad-Core Fingerprint 4.7" 4K Video, 価格: 165.9, 配送料: Free Shipping
名称: Used Unlocked Original Apple iPhone 7  Quad Core 4.7Inch 12.0MP Camera 4G LTE Mobile Phone Fingerprint Touch ID, 価格: 154.08, 配送料: Free Shipping
名称: Apple iPhone 7 Plus Factory Original Mobile Phone 4G LTE 5.5" Dual Core A10 12MP RAM 3GB ROM 128GB Cell phone NFC, 価格: 267.12, 配送料: Free Shipping
名称: Apple iPhone 7 Plus 3GB RAM 32/128GB/256GB IOS Cell Phone LTE 12.0MP Camera Apple Quad-Core Fingerprint 12MP 2910mA, 価格: 261, 配送料: 11.22
名称: 100% Original iPhone 7 Quad Core 4.7 Inch 2GB RAM 32/128/256GB ROM 12.0MP Camera LTE IOS IPS Touch ID Unlocked Used Mobile Phone, 価格: 171.61, 配送料: Free Shipping
名称: Apple iPhone 7 Factory Unlocked Original Mobile Phone 4G LTE 4.7" Dual Core A10 12MP RAM 2GB ROM 32GB/128GB/256GB Cell phone NFC, 価格: 171.36, 配送料: Free Shipping

CSVテーブルへの出力

結果フォーマット：

[% FOREACH item IN serp; 
    tools.CSVline(item.link, item.title, item.price, item.rating, item.store);
END %]

結果の例：

https://www.aliexpress.com/item/32829794248.html,"Apple iPhone 7 Plus Factory Original Mobile Phone 4G LTE 5.5"" Dual Core A10 12MP RAM 3GB ROM 128GB Cell phone NFC",267.12,4.6,"Topco-The Reliable Genuine Mobile Phone Store"
https://www.aliexpress.com/item/32874581363.html,"Apple iPhone 7 4G LTE Cell Phone 32/128GB/256GB IOS 12.0MP + 7.0MP Camera Quad-Core Fingerprint 4.7"" 4K Video",165.9,4.8,"Rainbow--The Most Reliable Original Mobile Phones Store"
https://www.aliexpress.com/item/32883871759.html,"Apple iPhone 7 Plus 3GB RAM 32/128GB/256GB ROM IOS Quad-Core 12.0MP Camera Fingerprint Original iPhone7 Plus LTE Mobile Phone",259,4.8,"HongKong CINGO Technology Co., Ltd."
https://www.aliexpress.com/item/32883875336.html,"Apple iPhone 7 4G LTE Mobile phone IOS Quad Core 2GB RAM 32/128GB/256GB ROM 12.0MP Fingerprint Original unlocked iphone7",179.6,4.9,"HongKong CINGO Technology Co., Ltd."
https://www.aliexpress.com/item/32874589153.html,"Apple iPhone 7 2GB RAM 32/128/256GB ROM 4.7"" IOS Cell Phone 12.0MP Camera Quad Core 4K Video LTE 1960mAh Touch ID",168.99,4.4,"Rainbow--The Most Reliable Original Mobile Phones Store"
https://www.aliexpress.com/item/32846368547.html,"100% Original iPhone 7 Quad Core 4.7 Inch 2GB RAM 32/128/256GB ROM 12.0MP Camera LTE IOS IPS Touch ID Unlocked Used Mobile Phone",171.61,4.8,"Refly-Original mobile phone store"
https://www.aliexpress.com/item/32979565350.html,"Original Apple iPhone 7 Plus Fingerprint 3GB RAM 32/128GB/256GB IOS Cell Phone LTE 12.0MP Camera Apple Quad-Core12MP Cellphone",254.74,5,"Ecoolkey Technology Co.,Ltd"
https://www.aliexpress.com/item/32795729059.html,"Apple iPhone 7 Plus GSM Unlocked 5.5"" 3GB Ram 32/128/256GB Rom iOS 4G Lte 12.0MP Dual-Rear Camera 2910mA Fingerprint Smartphones",263,5,"Summer Technology Co.,Ltd."
https://www.aliexpress.com/item/32881647077.html,"Original Apple iPhone 7&iPhone 7 plus 4G LTE IOS 12.0MP Camera Touch ID 32GB/128GB/256GB RO

SQL形式での保存

結果フォーマット：

[% FOREACH item IN serp;
    "INSERT INTO serp VALUES('" _ item.title _ "', '"; item.store_link _ "', '";    item.ship_price _ "', '";   item.price _ "')\n"; 
END %]

結果の例：

INSERT INTO serp VALUES('Apple iPhone 7 Plus 3GB RAM 32/128GB/256GB IOS Cell Phone LTE 12.0MP Camera Apple Quad-Core Fingerprint 12MP 2910mA', 'https://www.aliexpress.com/store/1110648', '', '272.22')
INSERT INTO serp VALUES('Apple iPhone 7 4G LTE Cell Phone 32/128GB/256GB IOS 12.0MP + 7.0MP Camera Quad-Core Fingerprint 4.7" 4K Video', 'https://www.aliexpress.com/store/1052671', 'Free Shipping', '165.9')
INSERT INTO serp VALUES('Apple iPhone 7 Plus 3GB RAM 32/128GB/256GB ROM IOS Quad-Core 12.0MP Camera Fingerprint Original iPhone7 Plus LTE Mobile Phone', 'https://www.aliexpress.com/store/1110648', '', '270.22')
INSERT INTO serp VALUES('Apple iPhone 7 4G LTE Mobile phone IOS Quad Core 2GB RAM 32/128GB/256GB ROM 12.0MP Fingerprint Original unlocked iphone7', 'https://www.aliexpress.com/store/1110648', '', '190.82')
INSERT INTO serp VALUES('Apple iPhone 7 2GB RAM 32/128/256GB ROM 4.7" IOS Cell Phone 12.0MP Camera Quad Core 4K Video LTE 1960mAh Touch ID', 'https://www.aliexpress.com/store/1052671', 'Free Shipping', '168.99')
INSERT INTO serp VALUES('100% Original iPhone 7 Quad Core 4.7 Inch 2GB RAM 32/128/256GB ROM 12.0MP Camera LTE IOS IPS Touch ID Unlocked Used Mobile Phone', 'https://www.aliexpress.com/store/1194206', 'Free Shipping', '171.61')
INSERT INTO serp VALUES('Original Apple iPhone 7 Plus Fingerprint 3GB RAM 32/128GB/256GB IOS Cell Phone LTE 12.0MP Camera Apple Quad-Core12MP Cellphone', 'https://www.aliexpress.com/store/709663', '', '307.37')
INSERT INTO serp VALUES('Original Apple iPhone 7&iPhone 7 plus 4G LTE IOS 12.0MP Camera Touch ID 32GB/128GB/256GB ROM Fingerprint used Smartphone', 'https://www.aliexpress.com/store/1309027', 'Free Shipping', '148')

JSONへの結果ダンプ

共通結果形式:

[% IF notFirst;
  ",\n";
ELSE;
  notFirst = 1;
END;

obj = {};
obj.items = [];

FOREACH item IN p1.serp;
    obj.items.push({
        link = item.link
        title = item.title
        price = item.price
    });
END;

obj.json %]

開始テキスト:

終了テキスト:

結果の例：

[
    {
        "items": [
            {
                "link": "https://www.aliexpress.com/item/32874581363.html",
                "title": "Apple iPhone 7 4G LTE Cell Phone 32/128GB/256GB IOS 12.0MP + 7.0MP Camera Quad-Core Fingerprint 4.7\" 4K Video",
                "price": 165.9
            },
            {
                "link": "https://www.aliexpress.com/item/32874589153.html",
                "title": "Apple iPhone 7 2GB RAM 32/128/256GB ROM 4.7\" IOS Cell Phone 12.0MP Camera Quad Core 4K Video LTE 1960mAh Touch ID",
                "price": 168.99
            },
            {
                "link": "https://www.aliexpress.com/item/32846368547.html",
                "title": "100% Original iPhone 7 Quad Core 4.7 Inch 2GB RAM 32/128/256GB ROM 12.0MP Camera LTE IOS IPS Touch ID Unlocked Used Mobile Phone",
                "price": 171.61
            },
            {
                "link": "https://www.aliexpress.com/item/32855645663.html",
                "title": "Used Unlocked Original Apple iPhone 7  Quad Core 4.7Inch 12.0MP Camera 4G LTE Mobile Phone Fingerprint Touch ID",
                "price": 154.08
            },
            {
                "link": "https://www.aliexpress.com/item/32883875336.html",
                "title": "Apple iPhone 7 4G LTE Mobile phone IOS Quad Core 2GB RAM 32/128GB/256GB ROM 12.0MP Fingerprint Original unlocked iphone7",
                "price": 179.6
            },
            
        ]
    }
]

ヒント

「Prepend text」と「Append text」のオプションをタスクエディタで利用できるようにするには、「More options」を有効にする必要があります。

設定可能な項目

注記

すべてのスクレイパーに共通の設定

パラメータ	デフォルト値	説明
Pages count	`5`	スクレイピングするページ数
Parse not found	`☑`	指定されたクエリで何も見つからなかったとリソースが報告した場合に、結果をスクレイピングするかどうかを決定します

スクレイパーの概要​

収集データ​

ユースケース​

クエリ​

クエリ置換​

結果の出力例​

リンク一覧のエクスポート​

名称、価格、レーティングの出力​

名称、商品価格、配送料の出力​

CSVテーブルへの出力​

SQL形式での保存​

JSONへの結果ダンプ​

設定可能な項目​

スクレイパーの概要

収集データ

ユースケース

クエリ

クエリ置換

結果の出力例

リンク一覧のエクスポート

名称、価格、レーティングの出力

名称、商品価格、配送料の出力

CSVテーブルへの出力

SQL形式での保存

JSONへの結果ダンプ

設定可能な項目