Shop::Yandex::Market - Scraper di prodotti da Yandex.Market
Panoramica dello scraper
Utilizzando lo scraper di prodotti Yandex market, puoi ottenere dati dalla scheda prodotto, raccogliere un database di link ai prodotti, monitorare la dinamica dei prezzi, i cambiamenti nel numero di venditori, raccogliere valutazioni e numero di recensioni, nonché scaricare immagini dei prodotti.
La funzionalità di A-Parser consente di salvare le impostazioni di scraping per un uso futuro (preset), impostare pianificazioni e molto altro. Puoi utilizzare la generazione automatica delle query, la sostituzione di sotto-query da file, la combinazione di stringhe alfanumeriche e liste per ottenere il massimo numero possibile di risultati.
Dati raccolti
- Nome del prodotto
- Link al prodotto
- Immagine del prodotto
- Prezzo e prezzo precedente
- Valuta
- Valutazione e numero di commenti
- Numero di venditori
- Informazioni aggiuntive
- Numero di acquisti e visualizzazioni del prodotto
Casi d'uso
- Raccolta di link ai prodotti
- Valutazione della popolarità dei prodotti
- Monitoraggio della dinamica dei prezzi e della popolarità dei prodotti
Query
Come query è necessario indicare parole chiave o il link a una categoria, ad esempio:
xiaomi redmi note
https://market.yandex.ru/catalog/54726/list?local-offers-first=0&deliveryincluded=0&onstock=1
Esempi di formattazione dei risultati
A-Parser supporta una formattazione flessibile dei risultati grazie al motore di modelli integrato Template Toolkit, che gli consente di restituire i risultati in forma libera o strutturata, come CSV o JSON.
Output di nome, prezzo minimo e valutazione del prodotto
Formato del risultato:
$products.format('Nome: $title, Prezzo minimo: $amountfrom, Valutazione: $rating\n')
Esempio di risultato:
Nome: Smartphone Apple iPhone 11 64GB, Prezzo minimo: 46 244, Valutazione: 4.7
Nome: Smartphone Apple iPhone Xr 64GB, Prezzo minimo: 36 990, Valutazione: 4.7
Nome: Smartphone Apple iPhone 12 64GB, Prezzo minimo: 60 840, Valutazione: 4.7
Nome: Smartphone Apple iPhone SE 2020 64GB, Prezzo minimo: 33 490, Valutazione: 4.5
Nome: Smartphone Apple iPhone Xr 128GB, Prezzo minimo: 43 450, Valutazione: 4.7
Output in tabella CSV
Formato del risultato:
[% FOREACH item IN products;
tools.CSVline(item.cardlink, item.title, item.amountfrom, item.rating, item.commentscount);
END %]
Esempio di risultato:
https://market.yandex.ru/product--smartfon-apple-iphone-11-64gb/558171067?nid=54726&show-uid=16206538929466307988916001&context=search&text=iphone&sku=101106266737,"Smartphone Apple iPhone 11 64GB","46 244",4.7,810
https://market.yandex.ru/product--smartfon-apple-iphone-xr-64gb/175941311?nid=54726&show-uid=16206538929466307988916002&context=search&text=iphone&sku=101103379766,"Smartphone Apple iPhone Xr 64GB","36 990",4.7,624
https://market.yandex.ru/product--smartfon-apple-iphone-12-64gb/722976004?nid=54726&show-uid=16206538929466307988916003&context=search&text=iphone&sku=101077347750,"Smartphone Apple iPhone 12 64GB","60 840",4.7,103
https://market.yandex.ru/product--smartfon-apple-iphone-se-2020-64gb/661221015?nid=54726&show-uid=16206538929466307988916004&context=search&text=iphone&sku=101099789863,"Smartphone Apple iPhone SE 2020 64GB","33 490",4.5,358
Testo iniziale:
Link al prodotto, Nome del prodotto, Prezzo minimo, Valutazione, Numero di commenti
Nel Formato dei risultati viene utilizzato il motore di modelli Template Toolkit per visualizzare l'array $products in un ciclo FOREACH.
Affinché l'opzione "Prepend text" sia disponibile nell'Editor delle attività, è necessario attivare "More options". In "Prepend text" scriviamo i nomi delle colonne separati da virgola e lasciamo la seconda riga vuota.
Salvataggio in formato SQL
Formato del risultato:
[% FOREACH item IN products;
"INSERT INTO products VALUES('" _ item.title _ "', '"; item.cardlink _ "', '"; item.amountfrom _ "', '"; item.rating _ "')\n";
END %]
Esempio di risultato:
INSERT INTO products VALUES('Smartphone Apple iPhone 11 64GB', 'https://market.yandex.ru/product--smartfon-apple-iphone-11-64gb/558171067?nid=54726&show-uid=16206542754162480526716001&context=search&text=iphone&sku=101106266737', '46 244', '4.7')
INSERT INTO products VALUES('Smartphone Apple iPhone Xr 64GB', 'https://market.yandex.ru/product--smartfon-apple-iphone-xr-64gb/175941311?nid=54726&show-uid=16206542754162480526716002&context=search&text=iphone&sku=101103379766', '36 990', '4.7')
INSERT INTO products VALUES('Smartphone Apple iPhone 12 64GB', 'https://market.yandex.ru/product--smartfon-apple-iphone-12-64gb/722976004?nid=54726&show-uid=16206542754162480526716003&context=search&text=iphone&sku=101077347750', '60 840', '4.7')
INSERT INTO products VALUES('Smartphone Apple iPhone SE 2020 64GB', 'https://market.yandex.ru/product--smartfon-apple-iphone-se-2020-64gb/661221015?nid=54726&show-uid=16206542754162480526716004&context=search&text=iphone&sku=101099789863', '33 490', '4.5')
Dump dei risultati in JSON
Formato comune del risultato:
[% IF notFirst;
",\n";
ELSE;
notFirst = 1;
END;
obj = {};
obj.query = query;
obj.items = [];
FOREACH item IN p1.products;
obj.items.push({
link = item.cardlink
name = item.title
amountfrom = item.amountfrom
});
END;
obj.json %]
Testo iniziale:
[
Testo finale:
]
Esempio di risultato:
[
{
"query": "https://market.yandex.ru/catalog--mobilnye-telefony/54726/list?text=iphone&hid=91491&was_redir=1&rt=10&cpa=0&onstock=0&local-offers-first=0",
"items": [
{
"link": "https://market.yandex.ru/product--smartfon-apple-iphone-11-64gb/558171067?nid=54726&show-uid=16206548825917275667016001&context=search&text=iphone&sku=101106266737",
"amountfrom": "46 244",
"name": "Smartphone Apple iPhone 11 64GB"
},
{
"link": "https://market.yandex.ru/product--smartfon-apple-iphone-xr-64gb/175941311?nid=54726&show-uid=16206548825917275667016002&context=search&text=iphone&sku=101103379766",
"amountfrom": "36 990",
"name": "Smartphone Apple iPhone Xr 64GB"
},
{
"link": "https://market.yandex.ru/product--smartfon-apple-iphone-12-64gb/722976004?nid=54726&show-uid=16206548825917275667016003&context=search&text=iphone&sku=101077347750",
"amountfrom": "60 840",
"name": "Smartphone Apple iPhone 12 64GB"
},
{
"link": "https://market.yandex.ru/product--smartfon-apple-iphone-se-2020-64gb/661221015?nid=54726&show-uid=16206548825917275667016004&context=search&text=iphone&sku=101099789863",
"amountfrom": "33 490",
"name": "Smartphone Apple iPhone SE 2020 64GB"
}
]
}
]
Affinché le opzioni "Prepend text" e "Append text" siano disponibili nell'Editor delle attività, è necessario attivare "More options".
Impostazioni possibili
| Parametro | Valore predefinito | Descrizione |
|---|---|---|
| AntiGate preset | default | Selezione del preset  Util::AntiGate, maggiori dettagli sulla configurazione qui |
| AntiGate preset for old captcha | default | Simile a AntiGate preset, ma utilizzato solo per i captcha ordinari (vecchi, sotto forma di singola immagine). Se non viene selezionato un preset qui, verrà utilizzato quello scelto in AntiGate preset. |
| Auto-Solve ClickCaptcha | ☐ | Risoluzione automatica dei click captcha (senza l'uso di servizi esterni) |
| Experimental img captcha max count | 1 | Numero massimo di tentativi per i captcha immagine |
| Pages count | 5 | Numero di pagine da sottoporre a scraping |
| Search region ID | Not set | Regione per lo scraping |