Ana içeriğe atla

Shop::Wildberries::ProductsList - Wildberries ürün listesi veri kazıyıcı

img

Veri kazıyıcı incelemesi​

Wildberries ürün veri kazıyıcı kullanarak, anahtar kelimeye göre arama sonuçlarından veya belirli bir kategori ya da markanın ürün listesinden ürün verileri alabilirsiniz. Bu araçla ürün bağlantıları veritabanı oluşturabilir, fiyat dinamiklerini, yorum sayısı veya derecelendirme değişikliklerini takip edebilir, ürün görsellerini veya mevcut renk ve beden bilgilerini toplayabilirsiniz. Ayrıca, her birinin organik sonuçlardaki konumu belirtilerek reklam ilanlarının listesi ayrı olarak toplanır. Veri kazıyıcı, sonuçları sıralama ve teslimat noktası belirtme imkanı sunar.

A-Parser işlevselliği, veri çekme ayarlarını daha sonra kullanmak üzere kaydetmenize (presetler), veri çekme zamanlaması oluşturmanıza ve çok daha fazlasına olanak tanır. Mümkün olan en fazla sonucu elde etmek için otomatik sorgu çoğaltma, dosyalardan alt sorgu ekleme, alfa-numerik kombinasyon ve liste tarama özelliklerini kullanabilirsiniz.

Toplanan veriler​

img

  • Ürün sayısı
  • Ürün adı
  • Ürün bağlantısı
  • Ürün görseli
  • Marka
  • Fiyat ve eski fiyat
  • Derecelendirme ve yorum sayısı
  • Bedenler ve/veya renkler
  • Reklam ilanları için - ürün listesindeki konum
  • "Ayrıca arananlar" ve "Bunlar da hoşunuza gidebilir" listelerindeki anahtar kelimeler

Kullanım durumları​

  • Ürün bağlantılarının toplanması
  • Ürün popülerliğinin değerlendirilmesi
  • Fiyat dinamiklerinin ve ürün popülerliğinin takibi
  • Ürün görselleri dizisinin toplanması
  • Reklam ilanlarının konumlarının belirlenmesi

Sorgular​

Sorgu olarak şunlar kullanılabilir:

Marka ürün listesi bağlantıları, örneğin:

https://www.wildberries.ru/brands/kristiano-fashion
https://www.wildberries.ru/brands/s-a-s

Kategori ürün listesi bağlantıları, örneğin:

https://www.wildberries.ru/catalog/elektronika/razvlecheniya-i-gadzhety/igrovye-konsoli/playstation
https://www.wildberries.ru/catalog/avtotovary/shiny-i-diski/shiny

Anahtar kelimeler, tıpkı doğrudan Wildberries arama formuna yazıyormuşsunuz gibi, örneğin:

xiaomi mi10
tişörtler ve atletler
teyp

Sorgu değişimleri​

Sorgu olarak anahtar kelime kullanıldığında, normal arama sonuçlarından daha fazla sonuç elde etmek gerekiyorsa sorguları çoğaltmak için yerleşik makrolar kullanılabilir.

Örneğin, yukarıdaki anahtar kelimeler için sorgu formatında a'dan zzzz'ye kadar karakter taraması belirtelim; bu yöntem arama sonuçlarını maksimum düzeyde döndürmeye ve birçok yeni benzersiz sonuç elde etmeye olanak tanır:

$query {az:a:zzzz}

Bu makro, her bir orijinal arama sorgusu için 475254 ek sorgu oluşturacaktır; bu da toplamda 4 x 475254 = 1901016 arama sorgusu demektir. Bu rakam etkileyici olsa da A-Parser için hiç sorun değildir. Dakikada 2000 sorgu hızıyla böyle bir görev sadece 16 saatte tamamlanır.

Sonuç çıktı seçenekleri​

A-Parser, yerleşik Template Toolkit şablonlayıcısı sayesinde sonuçların esnek bir şekilde formatlanmasını destekler; bu da sonuçları rastgele bir formda veya CSV ya da JSON gibi yapılandırılmış bir biçimde çıktı almanıza olanak tanır.

Marka, isim ve fiyat çıktısı​

Sonuç formatı:

$items.format('$brand, $name, $price\n')

Sonuç örneği:

Xiaomi, Akıllı Telefon Poco X3 Pro / 6.67'' / 2400x1080 / IPS / 8 GB / 256 GB / 5160 mAh, 23751
Realme, Akıllı Telefon realme 8 / 6.4'' / 2400x1080 / Super AMOLED / 6 GB / 128 GB / 5000 mAh, 19911
Apple, Akıllı Telefon iPhone 11 128GB / 6.1'' / 1792x828 / Liquid Retina HD / 128 GB, 54990
Apple, Akıllı Telefon iPhone 12 128GB / 6.1'' / 2532x1170 / OLED / 128 GB, 69990
Samsung, Akıllı Telefon Galaxy A32 / 6.4'' / 2400x1080 / Super AMOLED / 4 GB / 128 GB / 5000 mAh, 19791

Değişken adlarıyla çıktı​

Sonuç formatı:

$items.format('Marka: $brand, Ad: $name, Fiyat: $price\n')

Sonuç örneği:

Marka: Samsung, Ad: Akıllı Telefon Galaxy A32 / 6.4'' / 2400x1080 / Super AMOLED / 4 GB / 128 GB / 5000 mAh, Fiyat: 19791
Marka: Realme, Ad: Akıllı Telefon realme 8 / 6.4'' / 2400x1080 / Super AMOLED / 6 GB / 128 GB / 5000 mAh, Fiyat: 19911
Marka: Honor, Ad: Akıllı Telefon Honor 50 / 6.57'' / 2340x1080 / OLED / 6 GB / 128 GB / 4300 mAh, Fiyat: 31490
Marka: Apple, Ad: Akıllı Telefon iPhone 13 256GB / 6.1'' / 2532x1170 / OLED / 256 GB, Fiyat: 89990
Marka: Xiaomi, Ad: Akıllı Telefon 6.53'' / 1600x720 / 2 GB / 32 GB / 5000 mAh, Fiyat: 8990

Sonuç formatı:

[% USE d = date(format = '%Y %m %d %H:%M', locale = 'C');
FOREACH item IN items;  
    tools.CSVline(d.format(), item.name, item.price, item.link);
END %]

Sonuç örneği:

"2022 01 26 10:15","Akıllı Telefon 6.53'' / 1600x720 / 2 GB / 32 GB / 5000 mAh",8990,https://www.wildberries.ru/catalog/13615126/detail.aspx
"2022 01 26 10:15","Akıllı Telefon iPhone 13 128GB / 6.1'' / 2532x1170 / OLED / 128 GB",74390,https://www.wildberries.ru/catalog/40640907/detail.aspx
"2022 01 26 10:15","Akıllı Telefon Galaxy S21 256GB / 6.2'' / Dynamic AMOLED / 8 GB / 256 GB / 4000 mAh",64791,https://www.wildberries.ru/catalog/18592983/detail.aspx
"2022 01 26 10:15","Akıllı Telefon Galaxy M22 / 6.4'' / 720x1600 / Super AMOLED / 4 GB / 128 GB / 5000 mAh",17280,https://www.wildberries.ru/catalog/41501725/detail.aspx

CSV tablosuna ürün adı, fiyatı ve indirim yüzdesi çıktısı​

Sonuç formatı:

[% USE Math;
FOREACH item IN items;  
    discount = item.oldPrice ? (item.oldPrice - item.price) / item.oldPrice * 100 : 0; 
    tools.CSVline(item.name, item.price, Math.int(discount + 0.5) _ '%');
END %]

Sonuç örneği:

"Akıllı Telefon Poco X3 Pro / 6.67'' / 2400x1080 / IPS / 8 GB / 256 GB / 5160 mAh",23751,12%
"Akıllı Telefon realme 8 / 6.4'' / 2400x1080 / Super AMOLED / 6 GB / 128 GB / 5000 mAh",19911,17%
"Akıllı Telefon iPhone 12 128GB / 6.1'' / 2532x1170 / OLED / 128 GB",69990,0%
"Akıllı Telefon Galaxy A32 / 6.4'' / 2400x1080 / Super AMOLED / 4 GB / 128 GB / 5000 mAh",19791,10%
"Akıllı Telefon galaxy a52 / 6.5'' / 1080x2400 / Super AMOLED / 8 GB / 256 GB / 4500 mAh",28691,18%

CSV tablosuna çıktı​

Sonuç formatı:

[% FOREACH item IN items; 
    tools.CSVline(item.link, item.name, item.price, item.oldPrice, item.rating, item.reviews); 
END %]

Başlangıç metni:

Ürün bağlantısı, Ürün adı, Fiyat, Eski fiyat, Derecelendirme, Yorum sayısı

Sonuç örneği:

Ürün bağlantısı, Ürün adı, Fiyat, Eski fiyat, Derecelendirme, Yorum sayısı
https://www.wildberries.ru/catalog/54067214/detail.aspx,"Kadın bere",703,1900,5,6
https://www.wildberries.ru/catalog/41415461/detail.aspx,"Kadın bere / katlamalı bere / Beanie",1487,1750,5,346
https://www.wildberries.ru/catalog/16782596/detail.aspx,"Kadın bere / katlamalı bere / Beanie",1487,1750,5,346
https://www.wildberries.ru/catalog/9468600/detail.aspx,"Atkılı şapka / eldivenli / kadın bere",2700,4500,5,137
https://www.wildberries.ru/catalog/4750212/detail.aspx,"Beret",765,1075,5,349
https://www.wildberries.ru/catalog/9793364/detail.aspx,"Atkılı beret",3297,4710,5,307

SQL formatında kaydetme​

Sonuç formatı:

[% FOREACH item IN items;
    "INSERT INTO products VALUES('" _ item.name _ "', '"; item.link _ "', '"; item.price _ "', '"; item.brand _ "')\n";
END %]

Sonuç örneği:

INSERT INTO products VALUES('Akıllı Telefon 6.53'' / 1600x720 / 2 GB / 32 GB / 5000 mAh', 'https://www.wildberries.ru/catalog/13615125/detail.aspx', '8990', 'Xiaomi')
INSERT INTO products VALUES('Akıllı Telefon galaxy a52 / 6.5'' / 1080x2400 / Super AMOLED / 4 GB / 128 GB / 4500 mAh', 'https://www.wildberries.ru/catalog/23155682/detail.aspx', '24291', 'Samsung')
INSERT INTO products VALUES('Akıllı Telefon 6.53'' / 1600x720 / 2 GB / 32 GB / 5000 mAh', 'https://www.wildberries.ru/catalog/13615126/detail.aspx', '8990', 'Xiaomi')

Sonuçların JSON formatına dökümü​

Genel sonuç formatı:

[% IF notFirst;
  ",\n";
ELSE;
  notFirst = 1;
END;

obj = {};
obj.query = query;
obj.items = [];

FOREACH item IN p1.items;
    obj.items.push({
        link = item.link
        name = item.name
        price = item.price
    });
END;

obj.json %]

Başlangıç metni:

[

Bitiş metni:

]

Sonuç örneği:

[
    {
        "query": "akıllı telefon",
        "items": [
            {
                "link": "https://www.wildberries.ru/catalog/27379808/detail.aspx",
                "name": "Akıllı Telefon realme 8 / 6.4'' / 2400x1080 / Super AMOLED / 6 GB / 128 GB / 5000 mAh",
                "price": 19911
            },
            {
                "link": "https://www.wildberries.ru/catalog/16023994/detail.aspx",
                "name": "Akıllı Telefon iPhone 11 128GB / 6.1'' / 1792x828 / Liquid Retina HD / 128 GB",
                "price": 54990
            },
            {
                "link": "https://www.wildberries.ru/catalog/15875669/detail.aspx",
                "name": "Akıllı Telefon iPhone 12 128GB / 6.1'' / 2532x1170 / OLED / 128 GB",
                "price": 69990
            },
            ...
        ]
    },
    ...
]
ipucu

"Prepend text" ve "Append text" seçeneklerinin Görev Düzenleyici'de görünür olması için "More options"i etkinleştirmeniz gerekir.

Olası ayarlar​

not

Tüm veri kazıyıcılar için ortak ayarlar

ParametreVarsayılan değerAçıklama
Pages count5Veri çekme için sayfa sayısı
Sort byPopularitySonuçların sıralanması
AddressTeslimat noktası adresi
LongitudeTeslimat noktası boylamı
LatitudeTeslimat noktası enlemi
not

Varsayılan olarak Wildberries, Moskova için sonuçları gösterir. Veri kazıyıcıda bir teslimat noktası belirleme imkanı vardır ve sonuç listesi belirli bir konuma bağlanacaktır. Bunu yapmak için 3 parametreyi geçersiz kılmanız gerekir: Address, Longitude ve Latitude. Bu parametreler için gerekli değerleri tarayıcıdan alabilirsiniz:

1. Geliştirici Araçlarını (Chrome'da F12 tuşu) önceden açarak istediğiniz teslimat noktasını seçiyoruz

img

2. «Ağ» sekmesinde create?version=1 sorgusunu arıyoruz ve verileri veri kazıyıcı ayarlarına kopyalıyoruz

Teslimat noktasını seçtikten sonra Ağ (Chrome'da İngilizce — Network) sekmesini açın. create?version=1 sorgusunu bulun, yanıtta (Preview) address, lat ve lon değerlerini sırasıyla veri kazayıcının Address, Latitude ve Longitude alanlarına kopyalayın.

img