Shop::Yandex::Market - Scraper för produkter från Yandex.Market

Översikt av scrapern

Genom att använda scrapern för Yandex Market-produkter kan du hämta data från produktkort, samla en databas med produktlänkar, spåra prisdynamik, se ändringar i antal säljare, samla in betyg och antal recensioner samt hämta produktbilder.

Funktionaliteten i A-Parser gör det möjligt att spara inställningar för framtida bruk (förinställningar), schemalägga dataskrapning och mycket mer. Du kan använda automatisk generering av frågor, infoga underfrågor från filer, iterera genom alfanumeriska kombinationer och listor för att få största möjliga mängd resultat.

Gå till DEMO Köp A-Parser Pro ($299)

Data som samlas in

Produktnamn
Produktlänk
Produktbild
Pris och tidigare pris
Valuta
Betyg och antal kommentarer
Antal säljare
Ytterligare information
Antal köp och visningar av produkten

Användningsfall

Insamling av produktlänkar
Bedömning av produkters popularitet
Spårning av prisdynamik och produkters popularitet

Frågor

Som frågor måste du ange sökord eller en länk till en kategori, till exempel:

xiaomi redmi note
https://market.yandex.ru/catalog/54726/list?local-offers-first=0&deliveryincluded=0&onstock=1

Exempel på resultatvisning

A-Parser stöder flexibel formatering av resultat tack vare den inbyggda mallhanteraren Template Toolkit, vilket gör att den kan visa resultat i valfritt format, inklusive strukturerade format som CSV eller JSON.

Visning av namn, lägsta pris och produktbetyg

Resultatformat:

$products.format('Namn: $title, Lägsta pris: $amountfrom, Betyg: $rating\n')

Exempel på resultat:

Namn: Smartphone Apple iPhone 11 64GB, Lägsta pris: 46 244,  Betyg: 4.7
Namn: Smartphone Apple iPhone Xr 64GB, Lägsta pris: 36 990,  Betyg: 4.7
Namn: Smartphone Apple iPhone 12 64GB, Lägsta pris: 60 840,  Betyg: 4.7
Namn: Smartphone Apple iPhone SE 2020 64GB, Lägsta pris: 33 490,  Betyg: 4.5
Namn: Smartphone Apple iPhone Xr 128GB, Lägsta pris: 43 450,  Betyg: 4.7

Export till CSV-tabell

Resultatformat:

[% FOREACH item IN products;   
    tools.CSVline(item.cardlink, item.title, item.amountfrom, item.rating, item.commentscount);  
END %]

Exempel på resultat:

https://market.yandex.ru/product--smartfon-apple-iphone-11-64gb/558171067?nid=54726&show-uid=16206538929466307988916001&context=search&text=iphone&sku=101106266737,"Smartphone Apple iPhone 11 64GB","46 244",4.7,810
https://market.yandex.ru/product--smartfon-apple-iphone-xr-64gb/175941311?nid=54726&show-uid=16206538929466307988916002&context=search&text=iphone&sku=101103379766,"Smartphone Apple iPhone Xr 64GB","36 990",4.7,624
https://market.yandex.ru/product--smartfon-apple-iphone-12-64gb/722976004?nid=54726&show-uid=16206538929466307988916003&context=search&text=iphone&sku=101077347750,"Smartphone Apple iPhone 12 64GB","60 840",4.7,103
https://market.yandex.ru/product--smartfon-apple-iphone-se-2020-64gb/661221015?nid=54726&show-uid=16206538929466307988916004&context=search&text=iphone&sku=101099789863,"Smartphone Apple iPhone SE 2020 64GB","33 490",4.5,358

Inledande text:

Produktlänk, Produktnamn, Lägsta pris, Betyg, Antal kommentarer

tips

I Resultatformat används mallhanteraren Template Toolkit för att skriva ut arrayen $products i en FOREACH-loop.

För att alternativet "Prepend text" ska vara tillgängligt i Task Editor, måste du aktivera "More options". I "Prepend text" skriver vi kolumnnamnen separerade med kommatecken och gör den andra raden tom.

Spara i SQL-format

Resultatformat:

[% FOREACH item IN products;
    "INSERT INTO products VALUES('" _ item.title _ "', '"; item.cardlink _ "', '"; item.amountfrom _ "', '"; item.rating _ "')\n";
END %]

Exempel på resultat:

INSERT INTO products VALUES('Smartphone Apple iPhone 11 64GB', 'https://market.yandex.ru/product--smartfon-apple-iphone-11-64gb/558171067?nid=54726&show-uid=16206542754162480526716001&context=search&text=iphone&sku=101106266737', '46 244', '4.7')
INSERT INTO products VALUES('Smartphone Apple iPhone Xr 64GB', 'https://market.yandex.ru/product--smartfon-apple-iphone-xr-64gb/175941311?nid=54726&show-uid=16206542754162480526716002&context=search&text=iphone&sku=101103379766', '36 990', '4.7')
INSERT INTO products VALUES('Smartphone Apple iPhone 12 64GB', 'https://market.yandex.ru/product--smartfon-apple-iphone-12-64gb/722976004?nid=54726&show-uid=16206542754162480526716003&context=search&text=iphone&sku=101077347750', '60 840', '4.7')
INSERT INTO products VALUES('Smartphone Apple iPhone SE 2020 64GB', 'https://market.yandex.ru/product--smartfon-apple-iphone-se-2020-64gb/661221015?nid=54726&show-uid=16206542754162480526716004&context=search&text=iphone&sku=101099789863', '33 490', '4.5')

Dumpa resultat till JSON

Allmänt resultatformat:

[% IF notFirst;
  ",\n";
ELSE;
  notFirst = 1;
END;

obj = {};
obj.query = query;
obj.items = [];

FOREACH item IN p1.products;
    obj.items.push({
        link = item.cardlink
        name = item.title
        amountfrom = item.amountfrom
    });
END;

obj.json %]

Starttext:

Sluttext:

Exempel på resultat:

[
    {
        "query": "https://market.yandex.ru/catalog--mobilnye-telefony/54726/list?text=iphone&hid=91491&was_redir=1&rt=10&cpa=0&onstock=0&local-offers-first=0",
        "items": [
            {
                "link": "https://market.yandex.ru/product--smartfon-apple-iphone-11-64gb/558171067?nid=54726&show-uid=16206548825917275667016001&context=search&text=iphone&sku=101106266737",
                "amountfrom": "46 244",
                "name": "Smartphone Apple iPhone 11 64GB"
            },
            {
                "link": "https://market.yandex.ru/product--smartfon-apple-iphone-xr-64gb/175941311?nid=54726&show-uid=16206548825917275667016002&context=search&text=iphone&sku=101103379766",
                "amountfrom": "36 990",
                "name": "Smartphone Apple iPhone Xr 64GB"
            },
            {
                "link": "https://market.yandex.ru/product--smartfon-apple-iphone-12-64gb/722976004?nid=54726&show-uid=16206548825917275667016003&context=search&text=iphone&sku=101077347750",
                "amountfrom": "60 840",
                "name": "Smartphone Apple iPhone 12 64GB"
            },
            {
                "link": "https://market.yandex.ru/product--smartfon-apple-iphone-se-2020-64gb/661221015?nid=54726&show-uid=16206548825917275667016004&context=search&text=iphone&sku=101099789863",
                "amountfrom": "33 490",
                "name": "Smartphone Apple iPhone SE 2020 64GB"
            }
        ]
    }
]

tips

För att alternativen "Prepend text" och "Append text" ska vara tillgängliga i Task Editor, måste du aktivera "More options".

Möjliga inställningar

anteckning

Allmänna inställningar för alla scrapers

Parameter	Standardvärde	Beskrivning
AntiGate preset	`default`	Val av förinställning Util::AntiGate, mer information om inställningen här
AntiGate preset for old captcha	`default`	Liknar AntiGate preset, men används endast för vanliga (gamla, i form av en bild) captchas. Om ingen förinställning väljs här, används den förinställning som valts i AntiGate preset för dessa captchas.
Auto-Solve ClickCaptcha	`☐`	Automatisk lösning av click-captcha (utan användning av tjänster)
Experimental img captcha max count	`1`	Maximalt antal upprepade captcha-bilder per försök
Pages count	`5`	Antal sidor som ska skrapas
Search region ID	`Not set`	Region för dataskrapning

Översikt av scrapern​

Data som samlas in​

Användningsfall​

Frågor​

Exempel på resultatvisning​

Visning av namn, lägsta pris och produktbetyg​

Export till CSV-tabell​

Spara i SQL-format​

Dumpa resultat till JSON​

Möjliga inställningar​

Översikt av scrapern

Data som samlas in

Användningsfall

Frågor

Exempel på resultatvisning

Visning av namn, lägsta pris och produktbetyg

Export till CSV-tabell

Spara i SQL-format

Dumpa resultat till JSON

Möjliga inställningar