Zum Hauptinhalt springen

Shop::Yandex::Market - Parser für Produkte von Yandex.Market

img

Übersicht über den Parser​

Mit dem Yandex Market Produkt-Parser können Sie Daten von Produktkarten extrahieren, eine Datenbank mit Produktlinks erstellen, die Preisdynamik überwachen, Änderungen in der Anzahl der Verkäufer verfolgen, Bewertungen und die Anzahl der Rezensionen erfassen sowie Produktbilder sammeln.

Die Funktionalität von A-Parser ermöglicht es Ihnen, Datenerfassungseinstellungen für die spätere Verwendung zu speichern (Presets), Zeitpläne für die Datenerfassung festzulegen und vieles mehr. Sie können die automatische Abfragevervielfachung, die Einsetzung von Unterabfragen aus Dateien, das Durchlaufen von alphanumerischen Kombinationen und Listen nutzen, um die maximal mögliche Anzahl an Ergebnissen zu erhalten.

Erfasste Daten​

img

  • Produktname
  • Link zum Produkt
  • Produktbild
  • Preis und alter Preis
  • Währung
  • Bewertung und Anzahl der Kommentare
  • Anzahl der Verkäufer
  • Zusätzliche Informationen
  • Anzahl der Käufe und Aufrufe des Produkts

Anwendungsfälle​

  • Sammeln von Produktlinks
  • Bewertung der Produktpopularität
  • Überwachung der Preisdynamik und Produktpopularität

Abfragen​

Als Abfragen müssen Schlüsselwörter oder ein Link zur Kategorie angegeben werden, zum Beispiel:

xiaomi redmi note
https://market.yandex.ru/catalog/54726/list?local-offers-first=0&deliveryincluded=0&onstock=1ы

Beispiele für die Ergebnisausgabe​

A-Parser unterstützt eine flexible Formatierung der Ergebnisse dank der integrierten Template-Engine Template Toolkit, was es ermöglicht, Ergebnisse in beliebiger Form sowie strukturiert, zum Beispiel als CSV oder JSON, auszugeben.

Ausgabe von Name, Mindestpreis und Produktbewertung​

Ergebnisformat:

$products.format('Name: $title, Mindestpreis: $amountfrom, Bewertung: $rating\n')

Ergebnisbeispiel:

Name: Smartphone Apple iPhone 11 64GB, Mindestpreis: 46 244,  Bewertung: 4.7
Name: Smartphone Apple iPhone Xr 64GB, Mindestpreis: 36 990,  Bewertung: 4.7
Name: Smartphone Apple iPhone 12 64GB, Mindestpreis: 60 840,  Bewertung: 4.7
Name: Smartphone Apple iPhone SE 2020 64GB, Mindestpreis: 33 490,  Bewertung: 4.5
Name: Smartphone Apple iPhone Xr 128GB, Mindestpreis: 43 450,  Bewertung: 4.7

Ausgabe in eine CSV-Tabelle​

Ergebnisformat:

[% FOREACH item IN products;   
    tools.CSVline(item.cardlink, item.title, item.amountfrom, item.rating, item.commentscount);  
END %]

Ergebnisbeispiel:

https://market.yandex.ru/product--smartfon-apple-iphone-11-64gb/558171067?nid=54726&show-uid=16206538929466307988916001&context=search&text=iphone&sku=101106266737,"Smartphone Apple iPhone 11 64GB","46 244",4.7,810
https://market.yandex.ru/product--smartfon-apple-iphone-xr-64gb/175941311?nid=54726&show-uid=16206538929466307988916002&context=search&text=iphone&sku=101103379766,"Smartphone Apple iPhone Xr 64GB","36 990",4.7,624
https://market.yandex.ru/product--smartfon-apple-iphone-12-64gb/722976004?nid=54726&show-uid=16206538929466307988916003&context=search&text=iphone&sku=101077347750,"Smartphone Apple iPhone 12 64GB","60 840",4.7,103
https://market.yandex.ru/product--smartfon-apple-iphone-se-2020-64gb/661221015?nid=54726&show-uid=16206538929466307988916004&context=search&text=iphone&sku=101099789863,"Smartphone Apple iPhone SE 2020 64GB","33 490",4.5,358

Anfangstext:

Produktlink, Produktname, Mindestpreis, Bewertung, Anzahl der Kommentare

Tipp

Im Ergebnisformat wird die Template Toolkit Template-Engine verwendet, um das Array $products in einer FOREACH-Schleife auszugeben.

Damit die Option "Anfangstext" im Task-Editor verfügbar ist, müssen Sie "Mehr Optionen" aktivieren. In "Anfangstext" schreiben wir die Spaltennamen durch Komma getrennt und lassen die zweite Zeile leer.

Speichern im SQL-Format​

Ergebnisformat:

[% FOREACH item IN products;
    "INSERT INTO products VALUES('" _ item.title _ "', '"; item.cardlink _ "', '"; item.amountfrom _ "', '"; item.rating _ "')\n";
END %]

Ergebnisbeispiel:

INSERT INTO products VALUES('Smartphone Apple iPhone 11 64GB', 'https://market.yandex.ru/product--smartfon-apple-iphone-11-64gb/558171067?nid=54726&show-uid=16206542754162480526716001&context=search&text=iphone&sku=101106266737', '46 244', '4.7')
INSERT INTO products VALUES('Smartphone Apple iPhone Xr 64GB', 'https://market.yandex.ru/product--smartfon-apple-iphone-xr-64gb/175941311?nid=54726&show-uid=16206542754162480526716002&context=search&text=iphone&sku=101103379766', '36 990', '4.7')
INSERT INTO products VALUES('Smartphone Apple iPhone 12 64GB', 'https://market.yandex.ru/product--smartfon-apple-iphone-12-64gb/722976004?nid=54726&show-uid=16206542754162480526716003&context=search&text=iphone&sku=101077347750', '60 840', '4.7')
INSERT INTO products VALUES('Smartphone Apple iPhone SE 2020 64GB', 'https://market.yandex.ru/product--smartfon-apple-iphone-se-2020-64gb/661221015?nid=54726&show-uid=16206542754162480526716004&context=search&text=iphone&sku=101099789863', '33 490', '4.5')

Dump der Ergebnisse in JSON​

Allgemeines Ausgabeformat:

[% IF notFirst;
  ",\n";
ELSE;
  notFirst = 1;
END;

obj = {};
obj.query = query;
obj.items = [];

FOREACH item IN p1.products;
    obj.items.push({
        link = item.cardlink
        name = item.title
        amountfrom = item.amountfrom
    });
END;

obj.json %]

Anfangstext:

[

Endtext:

]

Ergebnisbeispiel:

[
    {
        "query": "https://market.yandex.ru/catalog--mobilnye-telefony/54726/list?text=iphone&hid=91491&was_redir=1&rt=10&cpa=0&onstock=0&local-offers-first=0",
        "items": [
            {
                "link": "https://market.yandex.ru/product--smartfon-apple-iphone-11-64gb/558171067?nid=54726&show-uid=16206548825917275667016001&context=search&text=iphone&sku=101106266737",
                "amountfrom": "46 244",
                "name": "Smartphone Apple iPhone 11 64GB"
            },
            {
                "link": "https://market.yandex.ru/product--smartfon-apple-iphone-xr-64gb/175941311?nid=54726&show-uid=16206548825917275667016002&context=search&text=iphone&sku=101103379766",
                "amountfrom": "36 990",
                "name": "Smartphone Apple iPhone Xr 64GB"
            },
            {
                "link": "https://market.yandex.ru/product--smartfon-apple-iphone-12-64gb/722976004?nid=54726&show-uid=16206548825917275667016003&context=search&text=iphone&sku=101077347750",
                "amountfrom": "60 840",
                "name": "Smartphone Apple iPhone 12 64GB"
            },
            {
                "link": "https://market.yandex.ru/product--smartfon-apple-iphone-se-2020-64gb/661221015?nid=54726&show-uid=16206548825917275667016004&context=search&text=iphone&sku=101099789863",
                "amountfrom": "33 490",
                "name": "Smartphone Apple iPhone SE 2020 64GB"
            }
        ]
    }
]
Tipp

Damit die Optionen "Anfangstext" und "Endtext" im Task-Editor verfügbar sind, müssen Sie "Mehr Optionen" aktivieren.

Mögliche Einstellungen​

Hinweis

Allgemeine Einstellungen für alle Scraper

ParameterStandardwertBeschreibung
AntiGate presetdefaultAuswahl des Presets Util::AntiGateUtil::AntiGate, Details zur Einstellung hier
AntiGate preset for old captchadefaultÄhnlich wie AntiGate preset, wird aber nur für gewöhnliche (alte, als einzelnes Bild vorliegende) Captchas verwendet. Wenn hier kein Preset ausgewählt ist, wird für solche Captchas das in AntiGate preset gewählte Preset verwendet.
Auto-Solve ClickCaptcha☐Automatisches Lösen von Click-Captchas (ohne Verwendung von Diensten)
Experimental img captcha max count1Maximale Anzahl wiederholter Captcha-Bilder pro Versuch
Pages count5Anzahl der zu scrapenden Seiten
Search region IDNot setRegion für die Datenerfassung