SE::Yandex::Direct - Yandex Direct reklam veri kazıyıcı direct.yandex.ru
Veri kazıyıcı incelemesi
SE::Yandex::Direct – Yandex Direct reklamları veri kazıyıcı. Tüm verilerin otomatik olarak toplanması: belirli bir sorgu için reklam sayısı, başlık, metin, alan adı, ek bağlantılar ve bunların çıpaları, etiketler.Mümkün olan maksimum sonuç sayısını elde etmek için otomatik sorgu çoğaltma, dosyalardan alt sorgu yerleştirme, alfanümerik kombinasyonların ve listelerin iterasyonunu kullanabilirsiniz. Sonuç filtreleme özelliğini kullanarak, tüm gereksiz çöpleri (negatif anahtar kelimeler kullanarak) temizleyebilir ve sonucu anında optimize edebilirsiniz.
A-Parser işlevselliği, SE::Yandex::Direct veri kazıyıcı ayarlarını daha sonra kullanmak üzere kaydetmenize (presetler), veri çekme zamanlaması ayarlamanıza ve çok daha fazlasına olanak tanır.
Sonuçların kaydedilmesi, sonuçlara ek mantık uygulamanıza ve verileri JSON, SQL ve CSV dahil olmak üzere çeşitli formatlarda çıktı almanıza olanak tanıyan yerleşik güçlü şablon motoru Template Toolkit sayesinde ihtiyacınız olan biçim ve yapıda mümkündür.
Toplanan veriler
- Belirli bir sorgu için reklam sayısı
- Başlık (Title), metin ve alan adı
- Ek bağlantılar ve bunların çapa metinleri (anchor)
- Etiketler
- Sonucun bir reklam olup olmadığı
Özellikler
- Yandex Direct tarafından sunulan maksimum sonuç sayısını kazır – 10 sayfa
- Arama bölgesi seçimini destekler
- AntiCaptcha servisi veya API'lerini destekleyen herhangi bir servis aracılığıyla captcha aşma imkanı (antigate ayarlarında is_russian parametresinin etkinleştirilmesi önerilir)
Kullanım senaryoları
- Belirlenen sorgularda reklam veren rakiplerin toplanması
Sorgular
Sorgu olarak arama terimleri belirtilmelidir, örneğin:
Kite satın al
Photoshop
İstanbul'da pencereler
Daire tadilatı
Sorgu değişimleri
Dosyalardan alt sorguların otomatik olarak yerleştirilmesi için yerleşik makroları kullanabilirsiniz; örneğin, her sorguya başka kelimelerden oluşan bir liste eklemek istiyorsak, birkaç ana sorgu belirtelim:
fantasy
tower defense
rpg
Sorgu formatında, keywords.txt dosyasından ek kelimeler yerleştirmek için makroyu belirtelim; bu yöntem sorgu çeşitliliğini kat kat artırmanıza olanak tanır:
{subs:keywords} $query
Bu makro, her bir kaynak arama sorgusu için dosyadaki ek sorgu sayısı kadar yeni sorgu oluşturacaktır; bu da makro çalışması sonucunda toplamda [kaynak sorgu sayısı] x [Keywords dosyasındaki sorgu sayısı] = [toplam sorgu sayısı] verecektir.
Örneğin, keywords.txt dosyası şunları içeriyorsa:
free
online
Sonuç olarak yerleştirme makrosu 3 ana sorguyu 6 sorguya dönüştürecektir:
free fantasy
online fantasy
free tower defense
online tower defense
free rpg
online rpg
Sonuç çıktı seçenekleri
A-Parser, yerleşik Template Toolkit şablon motoru sayesinde esnek sonuç formatlamayı destekler; bu da sonuçları rastgele bir formda veya CSV ya da JSON gibi yapılandırılmış bir biçimde çıktı almasına olanak tanır.
Varsayılan çıktı
Sonuç formatı:
$query - $totalcount\n$ads.format('$domain: $title - $text\n')
Sonuç örneği:
Photoshop - 5
www.syssoft.ru: Adobe Photoshop CS5 - İndirimler - Yetkili ortaktan indirimli Photoshop CS5. Şimdi sipariş verin!
www.disted.ru: Fotoğraf çekmeyi öğrenin! - New York Fotoğraf Enstitüsü'nde Rusça uzaktan eğitim.
www.softkey.ru: Lisanslı Adobe Photoshop CS! - Adobe Photoshop'tan en iyi yeni görüntü işleme özellikleri.
www.softprof-it.ru: 23000 rubleden başlayan Photoshop lisansı - Düşük Photoshop fiyatı - 23000 rubleden başlayan fiyatlarla. Arayın. Satın alma koşullarını netleştirin.
photoshop.pro1904.ru: Photoshop'ta ustaca çalışma! - Benzersiz kurs "Sıfırdan Photoshop". Photoshop Ustası olun.
Kite satın al - 0
İstanbul'da pencereler - 33
www.imperia51.com: Murmansk'ta pencereler! Düşük fiyatlar! - Çok düşük fiyatlar! Garanti! Kaliteli montaj! Hepsi «Pencere İmparatorluğu»nda!
mirperegorodok-kms.ru: «Bölme Dünyası» Şirketi - Alüminyum sistemler: ofis bölmeleri, giriş grupları, kapılar...
inkar-avto.ru: Otobüsle Moskova-St. Petersburg-Moskova - Pzt, Sal, Çar, Per - 1000 ruble, Cum, Cmt, Paz - 1300.
CSV tablosuna çıktı
Genel sonuç formatı:
[% FOREACH i IN p1.ads;
tools.CSVline(i.domain, i.title, i.text);
END %]
Dosya adı:
$datefile.format().csv
Başlangıç metni:
Alan Adı,Başlık,Metin
ipucu
Genel sonuç formatında, $ads dizisinin öğelerini bir FOREACH döngüsü içinde çıktı almak için Template Toolkit şablon motoru kullanılır.
Sonuç dosya adında sadece dosya uzantısını csv olarak değiştirmeniz gerekir.
"Prepend text" seçeneğinin Görev Düzenleyici'de görünmesi için "More options" kısmını etkinleştirmeniz gerekir. "Prepend text" kısmına sütun adlarını virgülle ayırarak yazıyoruz ve ikinci satırı boş bırakıyoruz.
SQL formatında kaydetme
Sonuç formatı:
[% FOREACH ads;
"INSERT INTO ads VALUES('" _ domain _ "', '" _ title _ "', '" _ text _ "')\n";
END %]
Sonuç örneği:
INSERT INTO ads VALUES('oknamr.ru', 'Plastik <b>pencereler</b> uygun fiyata <b>Moskova</b> <b>'da</b>: düşük fiyata satın al...', '«<b>MOSKOVA</b> <b>PENCERELERİ</b>» şirketi, plastik <b>pencere</b>, kapı ve bölme montajının yanı sıra balkon camlama işlerini de yürütmektedir.')<b>Moskova</b> <b>ve</b> Moskova bölgesinde.')
INSERT INTO ads VALUES('gor-okna.ru', 'Uygun fiyata <b>PVC pencereler</b> satın al | | <b>Moskova</b> 'da <b>PVC</b> <b>pencereler</b> fiyatlarla...', 'Kaliteli <b>PVC pencereler</b> sipariş edin. ... <b>Moskova</b> <b>her gün 9:00 - 21:00 arası.')</b> nakliye ve montaj dahil. ... <b>Moskova</b>. her gün 9:00 - 21:00 arası.')
INSERT INTO ads VALUES('balcon-msk.ru', 'Moskova'da balkon ve lojya camlama.<b>«Moskova Balkonları» şirketi profesyonel balkon ve lojya camlama yapmaktadır ... Fiyata şunlar dahildir: </b> <b>Alüminyum pencereler</b>.', '3,2x0,7m h-1,5m, su tahliyesi, montaj...')<b>Moskova</b>» profesyonel balkon ve lojya camlama yapmaktadır ... Fiyata şunlar dahildir: <b>Pencereler</b> alüminyum 3,2x0,7m h-1,5m, su tahliyesi, montaj...')
INSERT INTO ads VALUES('PVC pencerelerмаркет33.рф', 'Bahar! Yeni <b>pencereler</b> satın alma zamanı! Hediye – – Sineklik…', '<b>Pencere</b> 1.3x1.4 anahtar teslim 1.3x1.4 9900! <b>Pencere</b> 2.0x1.4 anahtar teslim 2.0x1.4 13500!')
INSERT INTO ads VALUES('topokno72.ru', 'Plastik <b>pencereler</b>. Kapılar, balkonlar', 'Plastik <b>pencereler</b> ve WinTech, Exprof, Proplex, Rehau, KBE marka her türlü PVC yapılar')
INSERT INTO ads VALUES('okna-moskvy1.ru', '<b>Moskova </b> <b>Pencereleri</b>. Resmi web sitesi', 'Sadece ay sonuna kadar. <b>REHAU pencereler</b> REHAU %60'a varan indirimle. Çok fonksiyonlu cam hediye. Tıklayın!')
INSERT INTO ads VALUES('russia.superjob.ru', 'Plastik ve alüminyum <b>pencereler</b>', 'Yeni meslektaşların seni bekliyor! Kolay arama, ücretsiz öneriler, hızlı içe aktarma. · 20 Sektörde 20 yıl. Öneriler. Kolay arama. Çevrimiçi destek')
INSERT INTO ads VALUES('gorokna-11.ru', 'Vorkuta'da plastik <b>pencereler</b> <b>. </b> Pencereler<b>, lojyalar, balkonlar', '</b>,lojyalar,balkonlar', '<b>Vorkuta'da indirimli')</b> PVC indirimli Vorkuta'da')
INSERT INTO ads VALUES('shop.oknagorizont.ru', 'Çevrimiçi <b>pencere</b>, mağazası, uygun fiyatlı plastik <b>pencereler</b>...', 'Montajsız çevrimiçi <b>pencere</b> mağazası, bugün teslim uygun fiyatlı plastik <b>pencereler</b> düşük fiyatlar, <b>pencerelerde</b>. Stokta ve sipariş üzerine çok sayıda seçenek, hızlı üretim...')
INSERT INTO ads VALUES('msk-oknaidveri.ru', 'Plastik <b>PVC pencereler</b> PVC ve giriş metal kapıları...', 'Klasik PVC-<b>pencereler</b> - plastikten yapılmış, Rusya İnşaat Bakanlığı tarafından sertifikalandırılmış ve SNiP ve diğer standartlara uygun <b>pencerelerdir</b>, ...')
INSERT INTO ads VALUES('oknamag.pro', 'Yazlık için plastik <b>pencereler</b> Oknamag Pro'dan satın al', 'Plastik <b>pencere</b> boyutları: 600 yükseklik, 600 genişlik. Mevcut üretim seçenekleri.. Hızlı bakış. Ürün kodu: opd0606.')
INSERT INTO ads VALUES('фурнитура-pencereler.рф', 'Plastik <b>pencere</b> donanımı - Yedek parçalar...', '<b>Pencere</b> <b>donanımı. Plastik </b> pencereleriniz<b> için doğru bileşen ve yedek parça seçiminde yardımcı oluyoruz.')</b>.')
INSERT INTO ads VALUES('OknaGarant.ru', 'Moskova'da hazır plastik <b>pencereler</b> <b>, yeni satın al...', '</b> <b>Pencereler</b>, yeni satın al...', '<b>pencerelere</b> kıyasla) önemli ölçüde daha düşüktür.')<b>Moskova'da</b> <b>MKAD</b> sınırları içinde. Tasarruf, maliyet (özel sipariş <b>pencerelere</b> kıyasla) önemli ölçüde daha düşüktür.')
INSERT INTO ads VALUES('domaster.ru', 'Moskova'da pencere aksesuarları ve donanımı satın al...<b>Pencereler</b> <b>ve kapılar için. Brass çevrimiçi mağazası — </b>...', 'pencere<b> bakım aksesuarları ve farklı şirketlerin donanımlarını Rusya genelinde teslimatla satın alabileceğiniz yerdir.')</b> ve kapılar için. Brass çevrimiçi mağazası — <b>pencere</b> bakımı için aksesuarlar ve farklı şirketlerin donanımlarını Rusya genelinde teslimatla satın alabileceğiniz yerdir.')
INSERT INTO ads VALUES('sms-m.ru', 'Moskova'da plastik <b>pencere</b> üretimi<b>Modüler binaların üretiminde maliyetlerin minimize edilmesi sorunu ortaya çıktığında, StroyMontajServis-M şirketi kendi üretimini başlatma kararı aldı...') </b> <b>Moskova'da</b>', 'Modüler binaların üretiminde maliyetlerin minimize edilmesi sorunu ortaya çıktığında, StroyMontajServis-M şirketi kendi üretimini başlatma kararı aldı...')
INSERT INTO ads VALUES('rosband.ru', 'Moskova'da plastik <b>pencereler</b> <b>satın al</b> <b>Plastik </b>', 'pencereler<b> mükemmel ısı yalıtım özelliğine sahiptir ve daha fazla harcamaya gerek yoktur ... Moskova, 1. Dobryninsky geçidi, 19 str. 6.')</b> mükemmel ısı yalıtım özelliğine sahiptir ve daha fazla harcamaya gerek yoktur ... <b>Moskova</b>, 1. Dobryninsky geçidi, 19 str. 6.')
INSERT INTO ads VALUES('moskva.miltor.ru', 'Moskova'da plastik <b>pencereler</b> <b>satın al: 185 teklif</b> <b>Sitemizdeki ilanları kullanarak Moskova'da plastik </b>: 185 teklif', 'Plastik <b>satın alabilirsiniz. Burada plastik </b> <b>pencere</b> <b>maliyetini, sipariş koşullarını ve adresini öğrenebilirsiniz...') </b> sitemizdeki ilanları kullanarak satın alabilirsiniz. Burada plastik <b>pencere</b> maliyetini, sipariş koşullarını ve adresini öğrenebilirsiniz...')
INSERT INTO ads VALUES('city-jaluzi.ru', 'Moskova'da uygun fiyata <b>pencere</b> jaluzileri satın al - yorumlar, fotoğraflar...<b>Pencereler</b> <b>için jaluzi üretiyor, perdeler dikiyor, 2006'dan beri sipariş üzerine korniş ve panjur montajı yapıyoruz. Fiyatlar 1 m2 için 495 ile 5 900 ₽ arası, Ücretsiz ölçüm ve...') </b> - yorumlar, fotoğraflar...', '<b>Pencereler</b> için jaluzi üretiyor, perdeler dikiyor, 2006'dan beri sipariş üzerine korniş ve panjur montajı yapıyoruz. Fiyatlar 1 m2 için 495 ile 5 900 ₽ arası, Ücretsiz ölçüm ve...')
Sonuçları JSON formatında dökme
Genel sonuç formatı:
[% IF notFirst;
",\n";
ELSE;
notFirst = 1;
END;
obj = {};
obj.ads = [];
FOREACH item IN p1.ads;
obj.ads.push({
domain = item.domain
title = item.title
text = item.text
});
END;
obj.json %]
Başlangıç metni:
[
Bitiş metni:
]
Sonuç örneği:
[{"ads": [{"domain":"oknamr.ru","text":"«<b>MOSKOVA</b> <b>PENCERELERİ</b>» şirketi, plastik <b>pencere</b>, kapı ve bölme montajının yanı sıra balkon camlama işlerini de yürütmektedir.","title":"Plastik <b>pencereler</b> <b>uygun fiyata </b> Moskova<b>'da</b> düşük fiyata satın al..."<b>Moskova'da nakliye ve montaj dahil kaliteli </b> <b>PVC pencereler</b>: sipariş edin. ... },{"domain":"gor-okna.ru","text":"Moskova<b>her gün 9:00 - 21:00 arası.","title":"Uygun fiyata </b> PVC pencereler<b>satın al | </b> <b>Moskova</b> 'da <b>PVC</b>. pencereler<b>fiyatları..."</b> «Moskova Balkonları» şirketi profesyonel balkon ve lojya camlama yapmaktadır ... Fiyata şunlar dahildir: | <b>Alüminyum pencereler</b> 3,2x0,7m h-1,5m, su tahliyesi, montaj...","title":"Moskova'da balkon ve lojya camlama."<b>окнамаркет33.рф","text":"</b> <b>Pencere</b> anahtar teslim 1.3x1.4 9900! },{"domain":"balcon-msk.ru","text":"Pencere<b>anahtar teslim 2.0x1.4 13500!","title":"Bahar! Yeni </b>» PVC pencereler<b>satın alma zamanı! Hediye – </b> Sineklik<b>Sadece ay sonuna kadar. </b> <b>REHAU pencereler</b>."},{"domain":"%60'a varan indirimle<b>Çok fonksiyonlu cam hediye. Tıklayın!","title":"</b> 1.3x1.4 Moskova <b>Pencereleri</b> 2.0x1.4 Resmi web sitesi"<b>окно61.рф","text":"Düşük fiyatlarla plastik </b> pencereler– #! Kaliteli montaj. Hızlı teslimat. Garanti.","title":"…"},{"domain":"okna-moskvy1.ru","text":"Bataisk'te <b>Pencereler</b> REHAU ! Sezonluk indirimler"%. PVC pencereler<b>Vorkuta'da indirimli","title":"Vorkuta'da plastik </b> <b>pencereler</b>. . },{"domain":"Pencereler<b>, lojyalar, balkonlar"</b> düşük fiyatlarla! Kaliteli montaj. Hızlı teslimat. Garanti.","title":"<b>Pencereler</b> <b>Bataisk'te</b>! Sezonluk indirimler"},{"domain":"gorokna-11.ru","text":"<b>Pencereler</b> PVC indirimli Vorkuta'da","title":"Plastik <b>pencereler</b> <b>Vorkuta'da</b>. <b>Pencereler</b>,lojyalar,balkonlar"}]}]
ipucu
"Prepend text" ve "Append text" seçeneklerinin Görev Düzenleyici'de görünmesi için "More options" kısmını etkinleştirmeniz gerekir.
Olası ayarlar
| Parametre | Varsayılan değer | Açıklama |
|---|---|---|
| Pages count | 10 | Kazınacak sayfa sayısı |
| Region of serp (lr=) | Moskova | Arama bölgesi seçimi (lr= parametresi) |
| AntiGate preset | default | Captcha çözme servisinin kullanımı. Önceden  Util::AntiGate veri kazıyıcısını yapılandırmak - erişim anahtarınızı ve diğer parametreleri belirtmek - ve ardından burada oluşturulan preseti seçmek gerekir |