Shop::Yandex::Market - Scraper voor producten van Yandex.Market
Overzicht van de scraper
Met de Yandex Market product scraper kunt u gegevens van productkaarten ophalen, een database met productlinks verzamelen, prijsdynamiek volgen, wijzigingen in het aantal verkopers monitoren, beoordelingen en het aantal reviews verzamelen, en productafbeeldingen downloaden.
De functionaliteit van A-Parser stelt u in staat om instellingen voor gegevensextractie op te slaan voor toekomstig gebruik (presets), schema's voor gegevensextractie in te stellen en nog veel meer. U kunt automatische query-multiplicatie gebruiken, subquery's uit bestanden invoegen, alfanumerieke combinaties en lijsten doorlopen om het maximaal mogelijke aantal resultaten te verkrijgen.
Verzamelde gegevens
- Productnaam
- Link naar het product
- Productafbeelding
- Prijs en oude prijs
- Valuta
- Beoordeling en aantal reacties
- Aantal verkopers
- Aanvullende informatie
- Aantal aankopen en productweergaven
Toepassingen
- Verzamelen van productlinks
- Beoordelen van productpopulariteit
- Volgen van prijsdynamiek en populariteit van producten
Query's
Als query's moeten trefwoorden of een link naar een categorie worden opgegeven, bijvoorbeeld:
xiaomi redmi note
https://market.yandex.ru/catalog/54726/list?local-offers-first=0&deliveryincluded=0&onstock=1
Voorbeelden van resultaatweergave
A-Parser ondersteunt flexibele formattering van resultaten dankzij de ingebouwde sjabloon-engine Template Toolkit, waardoor resultaten in elke gewenste vorm kunnen worden weergegeven, inclusief gestructureerde formaten zoals CSV of JSON.
Weergave van naam, minimale prijs en productbeoordeling
Resultaatformaat:
$products.format('Naam: $title, Minimale prijs: $amountfrom, Beoordeling: $rating\n')
Voorbeeld van het resultaat:
Naam: Smartphone Apple iPhone 11 64GB, Minimale prijs: 46 244, Beoordeling: 4.7
Naam: Smartphone Apple iPhone Xr 64GB, Minimale prijs: 36 990, Beoordeling: 4.7
Naam: Smartphone Apple iPhone 12 64GB, Minimale prijs: 60 840, Beoordeling: 4.7
Naam: Smartphone Apple iPhone SE 2020 64GB, Minimale prijs: 33 490, Beoordeling: 4.5
Naam: Smartphone Apple iPhone Xr 128GB, Minimale prijs: 43 450, Beoordeling: 4.7
Weergave in een CSV-tabel
Resultaatformaat:
[% FOREACH item IN products;
tools.CSVline(item.cardlink, item.title, item.amountfrom, item.rating, item.commentscount);
END %]
Voorbeeld van het resultaat:
https://market.yandex.ru/product--smartfon-apple-iphone-11-64gb/558171067?nid=54726&show-uid=16206538929466307988916001&context=search&text=iphone&sku=101106266737,"Smartphone Apple iPhone 11 64GB","46 244",4.7,810
https://market.yandex.ru/product--smartfon-apple-iphone-xr-64gb/175941311?nid=54726&show-uid=16206538929466307988916002&context=search&text=iphone&sku=101103379766,"Smartphone Apple iPhone Xr 64GB","36 990",4.7,624
https://market.yandex.ru/product--smartfon-apple-iphone-12-64gb/722976004?nid=54726&show-uid=16206538929466307988916003&context=search&text=iphone&sku=101077347750,"Smartphone Apple iPhone 12 64GB","60 840",4.7,103
https://market.yandex.ru/product--smartfon-apple-iphone-se-2020-64gb/661221015?nid=54726&show-uid=16206538929466307988916004&context=search&text=iphone&sku=101099789863,"Smartphone Apple iPhone SE 2020 64GB","33 490",4.5,358
Begintekst:
Productlink, Productnaam, Minimale prijs, Beoordeling, Aantal reacties
In het Resultaatformaat wordt de sjabloon-engine Template Toolkit gebruikt om de array $products in een FOREACH-lus weer te geven.
Om de optie "Prepend text" beschikbaar te maken in de Taakeditor, moet u "More options" activeren. In "Prepend text" schrijven we de kolomnamen gescheiden door een komma en maken we de tweede regel leeg.
Opslaan in SQL-formaat
Resultaatformaat:
[% FOREACH item IN products;
"INSERT INTO products VALUES('" _ item.title _ "', '"; item.cardlink _ "', '"; item.amountfrom _ "', '"; item.rating _ "')\n";
END %]
Voorbeeld van het resultaat:
INSERT INTO products VALUES('Smartphone Apple iPhone 11 64GB', 'https://market.yandex.ru/product--smartfon-apple-iphone-11-64gb/558171067?nid=54726&show-uid=16206542754162480526716001&context=search&text=iphone&sku=101106266737', '46 244', '4.7')
INSERT INTO products VALUES('Smartphone Apple iPhone Xr 64GB', 'https://market.yandex.ru/product--smartfon-apple-iphone-xr-64gb/175941311?nid=54726&show-uid=16206542754162480526716002&context=search&text=iphone&sku=101103379766', '36 990', '4.7')
INSERT INTO products VALUES('Smartphone Apple iPhone 12 64GB', 'https://market.yandex.ru/product--smartfon-apple-iphone-12-64gb/722976004?nid=54726&show-uid=16206542754162480526716003&context=search&text=iphone&sku=101077347750', '60 840', '4.7')
INSERT INTO products VALUES('Smartphone Apple iPhone SE 2020 64GB', 'https://market.yandex.ru/product--smartfon-apple-iphone-se-2020-64gb/661221015?nid=54726&show-uid=16206542754162480526716004&context=search&text=iphone&sku=101099789863', '33 490', '4.5')
Dump van resultaten in JSON
Algemeen resultaatformaat:
[% IF notFirst;
",\n";
ELSE;
notFirst = 1;
END;
obj = {};
obj.query = query;
obj.items = [];
FOREACH item IN p1.products;
obj.items.push({
link = item.cardlink
name = item.title
amountfrom = item.amountfrom
});
END;
obj.json %]
Begintekst:
[
Eindtekst:
]
Voorbeeld van het resultaat:
[
{
"query": "https://market.yandex.ru/catalog--mobilnye-telefony/54726/list?text=iphone&hid=91491&was_redir=1&rt=10&cpa=0&onstock=0&local-offers-first=0",
"items": [
{
"link": "https://market.yandex.ru/product--smartfon-apple-iphone-11-64gb/558171067?nid=54726&show-uid=16206548825917275667016001&context=search&text=iphone&sku=101106266737",
"amountfrom": "46 244",
"name": "Smartphone Apple iPhone 11 64GB"
},
{
"link": "https://market.yandex.ru/product--smartfon-apple-iphone-xr-64gb/175941311?nid=54726&show-uid=16206548825917275667016002&context=search&text=iphone&sku=101103379766",
"amountfrom": "36 990",
"name": "Smartphone Apple iPhone Xr 64GB"
},
{
"link": "https://market.yandex.ru/product--smartfon-apple-iphone-12-64gb/722976004?nid=54726&show-uid=16206548825917275667016003&context=search&text=iphone&sku=101077347750",
"amountfrom": "60 840",
"name": "Smartphone Apple iPhone 12 64GB"
},
{
"link": "https://market.yandex.ru/product--smartfon-apple-iphone-se-2020-64gb/661221015?nid=54726&show-uid=16206548825917275667016004&context=search&text=iphone&sku=101099789863",
"amountfrom": "33 490",
"name": "Smartphone Apple iPhone SE 2020 64GB"
}
]
}
]
Om de opties "Prepend text" en "Append text" beschikbaar te maken in de Taakeditor, moet u "More options" activeren.
Mogelijke instellingen
| Parameter | Standaardwaarde | Beschrijving |
|---|---|---|
| AntiGate preset | default | Selectie van preset  Util::AntiGate, meer details over de instelling hier |
| AntiGate preset for old captcha | default | Vergelijkbaar met AntiGate preset, maar wordt alleen gebruikt voor gewone (oude, in de vorm van een enkele afbeelding) captcha's. Als hier geen preset is geselecteerd, wordt de preset gebruikt die is geselecteerd in AntiGate preset. |
| Auto-Solve ClickCaptcha | ☐ | Automatisch oplossen van click-captcha's (zonder gebruik van services) |
| Experimental img captcha max count | 1 | Maximaal aantal herhaalde captcha-afbeeldingen per poging |
| Pages count | 5 | Aantal pagina's voor gegevensextractie |
| Search region ID | Not set | Regio voor gegevensextractie |