SE::Yandex::Direct - Scraper für Werbeanzeigen von Yandex Direct direct.yandex.ru
Übersicht des Parsers
SE::Yandex::Direct – ein Parser für Yandex Direct Anzeigen. Automatisierte Erfassung aller Daten: Anzahl der Anzeigen für eine bestimmte Anfrage, Titel, Text, Domain, Zusatzlinks und deren Anker, Tags.Sie können die automatische Abfragevervielfältigung, die Ersetzung von Unterabfragen aus Dateien, die Iteration von alphanumerischen Kombinationen und Listen nutzen, um die maximal mögliche Anzahl an Ergebnissen zu erhalten. Mithilfe der Ergebnisfilterung können Sie das Ergebnis sofort bereinigen und unnötigen Müll (unter Verwendung von Negativ-Keywords) entfernen.
Die Funktionalität von A-Parser ermöglicht es, Datenerfassungseinstellungen des Scrapers SE::Yandex::Direct für die spätere Verwendung zu speichern (Presets), Zeitpläne für die Datenerfassung festzulegen und vieles mehr.
Das Speichern der Ergebnisse ist in jeder gewünschten Form und Struktur möglich, dank der integrierten leistungsstarken Template-Engine Template Toolkit, die es erlaubt, zusätzliche Logik auf die Ergebnisse anzuwenden und Daten in verschiedenen Formaten auszugeben, einschließlich JSON, SQL und CSV.
Gesammelte Daten
- Anzahl der Anzeigen für eine bestimmte Abfrage
- Title, Text und Domain
- Zusätzliche Links und deren Ankertexte
- Tags
- Ob das Ergebnis eine Werbeanzeige ist
Funktionen
- Extrahiert die von Yandex Direct maximal ausgegebene Anzahl an Ergebnissen – 10 Seiten
- Unterstützt die Auswahl der Suchregion
- Möglichkeit zur Captcha-Umgehung mithilfe des Dienstes AntiCaptcha oder eines anderen Dienstes, der deren API unterstützt (es wird empfohlen, den Parameter is_russian in den AntiGate-Einstellungen zu aktivieren)
Anwendungsfälle
- Erfassung von Wettbewerbern, die für bestimmte Abfragen werben
Abfragen
Als Abfragen müssen Suchbegriffe angegeben werden, zum Beispiel:
Kite kaufen
Photoshop
Fenster in Moskau
Wohnungsrenovierung
Abfrage-Substitutionen
Sie können integrierte Makros für die automatische Einsetzung von Unterabfragen aus Dateien verwenden. Wenn wir beispielsweise zu jeder Abfrage eine Liste anderer Wörter hinzufügen möchten, geben wir einige Hauptabfragen an:
fantasy
tower defense
rpg
Im Abfrageformat geben wir das Makro zur Einsetzung zusätzlicher Wörter aus der Datei keywords.txt an. Diese Methode ermöglicht es, die Variabilität der Abfragen um ein Vielfaches zu erhöhen:
{subs:keywords} $query
Dieses Makro erstellt für jede ursprüngliche Suchabfrage so viele zusätzliche Abfragen, wie in der Datei enthalten sind, was in der Summe [Anzahl der ursprünglichen Abfragen] x [Anzahl der Abfragen in der Datei Keywords] = [Gesamtanzahl der Abfragen] als Ergebnis der Makroarbeit ergibt.
Wenn die Datei keywords.txt beispielsweise Folgendes enthält:
free
online
Am Ende verwandelt das Substitutionsmakro 3 Hauptabfragen in 6:
free fantasy
online fantasy
free tower defense
online tower defense
free rpg
online rpg
Beispiele für die Ergebnisausgabe
A-Parser unterstützt dank der integrierten Template-Engine Template Toolkit eine flexible Formatierung der Ergebnisse, was es ermöglicht, Ergebnisse in beliebiger Form sowie strukturiert auszugeben, zum Beispiel als CSV oder JSON
Standardausgabe
Ergebnisformat:
$query - $totalcount\n$ads.format('$domain: $title - $text\n')
Beispielergebnis:
Photoshop - 5
www.syssoft.ru: Adobe Photoshop CS5 - Rabatte - Photoshop CS5 mit Rabatt vom autorisierten Partner. Jetzt bestellen!
www.disted.ru: Lerne fotografieren! - Fernstudium auf Russisch am New York Institute of Photography.
www.softkey.ru: Lizenziertes Adobe Photoshop CS! - Die besten neuen Bildbearbeitungsfunktionen von Adobe Photoshop.
www.softprof-it.ru: Photoshop-Lizenz ab 23000 Rubel - Niedriger Photoshop-Preis - ab 23000 Rubel. Rufen Sie an. Klären Sie die Kaufbedingungen.
photoshop.pro1904.ru: Virtuoses Arbeiten in Photoshop! - Einzigartiger Kurs "Photoshop von Null auf". Werden Sie Photoshop-Meister.
Kite kaufen - 0
Fenster in Moskau - 33
www.imperia51.com: Fenster in Murmansk! Niedrige Preise! - Sehr niedrige Preise! Garantie! Qualitativ hochwertige Montage! All das ist «Imperia Okon»!
mirperegorodok-kms.ru: Unternehmen «Mir Peregorodok» - Aluminiumsysteme: Bürotrennwände, Eingangsgruppen, Türen...
inkar-avto.ru: Moskau-Petersburg-Moskau mit dem Bus - Mo, Di, Mi, Do - 1000 Rubel, Fr, Sa, So - 1300.
Ausgabe in eine CSV-Tabelle
Allgemeines Ergebnisformat:
[% FOREACH i IN p1.ads;
tools.CSVline(i.domain, i.title, i.text);
END %]
Dateiname:
$datefile.format().csv
Anfangstext:
Domain,Titel,Text
Im Allgemeinen Ergebnisformat wird die Template-Engine Template Toolkit verwendet, um die Elemente des Arrays $ads in einer FOREACH-Schleife auszugeben.
Im Dateinamen der Ergebnisse muss lediglich die Dateiendung in csv geändert werden.
Damit die Option "Anfangstext" im Task-Editor verfügbar ist, muss "Mehr Optionen" aktiviert werden. In den "Anfangstext" schreiben wir die Spaltennamen durch Kommas getrennt und lassen die zweite Zeile leer.
Speichern im SQL-Format
Ergebnisformat:
[% FOREACH ads;
"INSERT INTO ads VALUES('" _ domain _ "', '" _ title _ "', '" _ text _ "')\n";
END %]
Beispielergebnis:
INSERT INTO ads VALUES('oknamr.ru', 'Kunststoff-<b>fenster</b> günstig <b>in</b> <b>Moskau</b>: kaufen zu niedrigen...', 'Das Unternehmen «<b>OKNA</b> <b>MOSKVY</b>» führt die Installation von Kunststoff-<b>fenstern</b>, Türen und Trennwänden sowie die Verglasung von Balkonen <b>in</b> <b>Moskau</b> und dem Moskauer Umland durch.')
INSERT INTO ads VALUES('gor-okna.ru', 'PVC-<b>fenster</b> günstig kaufen | PVC-<b>Fenster</b> <b>in</b> <b>Moskau</b> zu Preisen...', 'Bestellen Sie hochwertige PVC-<b>fenster</b> <b>in</b> <b>Moskau</b> mit Lieferung und Montage. ... <b>Moskau</b>. von 9:00 bis 21:00 täglich.')
INSERT INTO ads VALUES('balcon-msk.ru', 'Verglasung von Balkonen und Loggien <b>in</b> <b>Moskau</b>.', 'Das Unternehmen „Balkone <b>Moskaus</b>“ führt professionelle Verglasungen von Balkonen und Loggien durch ... Im Preis enthalten: <b>Fenster</b> Aluminium 3,2x0,7m h-1,5m, Wasserablauf, Montage...')
INSERT INTO ads VALUES('окнамаркет33.рф', 'Frühling! Zeit, neue <b>Fenster</b> PVC zu kaufen! Geschenk – Moskitonetz…', '<b>Fenster</b> 1.3x1.4 für 9900 schlüsselfertig im Plattenbau! <b>Fenster</b> 2.0x1.4 für 13500 schlüsselfertig!')
INSERT INTO ads VALUES('topokno72.ru', 'Kunststoff-<b>fenster</b>. Türen, Balkone', 'Kunststoff-<b>fenster</b> und jegliche Konstruktionen aus PVC WinTech, Exprof, Proplex, Rehau, KBE')
INSERT INTO ads VALUES('okna-moskvy1.ru', '<b>Fenster</b> <b>Moskaus</b>. Offizielle Website', 'Nur bis Ende des Monats. REHAU-<b>Fenster</b> mit bis zu 60% Rabatt. Multiglas als Geschenk. Klicken Sie hier!')
INSERT INTO ads VALUES('russia.superjob.ru', 'Kunststoff- und Aluminium-<b>fenster</b>', 'Neue Kollegen warten schon auf dich! Bequeme Suche, kostenlose Empfehlungen, schneller Import. · 20 Jahre am Markt. Empfehlungen. Bequeme Suche. Online-Support')
INSERT INTO ads VALUES('gorokna-11.ru', 'Kunststoff-<b>fenster</b> <b>in</b> Workuta. <b>Fenster</b>, Loggien, Balkone', 'PVC-<b>Fenster</b> mit Rabatt in Workuta')
INSERT INTO ads VALUES('shop.oknagorizont.ru', 'Onlineshop für <b>Fenster</b>, günstige Kunststoff-<b>fenster</b>...', 'Onlineshop für <b>Fenster</b> ohne Montage, günstige Kunststoff-<b>fenster</b> noch heute, niedrige Preise für <b>Fenster</b>. Vieles auf Lager und auf Bestellung, Expressfertigung...')
INSERT INTO ads VALUES('msk-oknaidveri.ru', 'Kunststoff-<b>fenster</b> PVC und Metall-Eingangstüren...', 'Klassische PVC-<b>fenster</b> sind <b>Fenster</b> aus Kunststoff, zertifiziert vom Bauministerium Russlands und entsprechend den SNiP und anderen...')
INSERT INTO ads VALUES('oknamag.pro', 'Kunststoff-<b>fenster</b> für das Gartenhaus kaufen bei Oknamag Pro', 'Maße des Kunststoff-<b>fensters</b>: 600 Höhe, 600 Breite. Verfügbare Varianten... Schnellansicht. Artikelcode: opd0606.')
INSERT INTO ads VALUES('furnitura-okon.рф', 'Beschläge für Kunststoff<b>fenster</b> - Ersatzteile...', 'Beschläge für <b>Fenster</b> <b>im</b> Einzel- und Großhandel. Wir helfen Ihnen bei der richtigen Auswahl von Komponenten und Ersatzteilen für Ihre Kunststoff<b>fenster</b>.')
INSERT INTO ads VALUES('OknaGarant.ru', 'Fertige Kunststoff-<b>fenster</b> <b>in</b> <b>Moskau</b>, neue kaufen...', '<b>Fenster</b> warten bereits in unserem Lager auf Sie! Das Lager befindet sich <b>in</b> <b>Moskau</b> innerhalb des MKAD. Ersparnis, Kosten deutlich niedriger (im Vergleich zu <b>Fenstern</b> auf Bestellung).')
INSERT INTO ads VALUES('domaster.ru', 'Fensterzubehör und Beschläge kaufen <b>in</b> <b>Moskau</b>...', 'Für <b>Fenster</b> und Türen. Onlineshop Brass — ein Ort, an dem Sie Zubehör für die Pflege von <b>Fenstern</b> und Beschläge verschiedener Firmen mit Lieferung in ganz Russland kaufen.')
INSERT INTO ads VALUES('sms-m.ru', 'Kunststoff-<b>fenster</b> Herstellung <b>in</b> <b>Moskau</b>', 'Als die Frage der Kostenminimierung bei der Herstellung von Modulgebäuden aufkam, entschied das Unternehmen StroyMontazhServis-M, eine eigene Produktion zu starten...')
INSERT INTO ads VALUES('rosband.ru', 'Kunststoff-<b>fenster</b> kaufen <b>in</b> <b>Moskau</b>', 'Kunststoff-<b>fenster</b> besitzen hervorragende Wärmedämmeigenschaften und es besteht keine Notwendigkeit, mehr auszugeben ... Stadt <b>Moskau</b>, 1-j Dobryninskij pereulok, 19 str. 6.')
INSERT INTO ads VALUES('moskva.miltor.ru', 'Kunststoff-<b>fenster</b> kaufen <b>in</b> <b>Moskau</b>: 185 Angebote', 'Kunststoff-<b>fenster</b> <b>in</b> <b>Moskau</b> können Sie über die Anzeigen auf unserer Website kaufen. Hier erfahren Sie die Kosten für Kunststoff-<b>fenster</b>, Bestellbedingungen und Adresse...')
INSERT INTO ads VALUES('city-jaluzi.ru', 'Jalousien für <b>Fenster</b> günstig kaufen <b>in</b> <b>Moskau</b> - Bewertungen, Fotos...', 'Wir produzieren Jalousien für <b>Fenster</b>, nähen Vorhänge, montieren Gardinenstangen und Rollläden auf Bestellung seit 2006. Preise von 495 bis 5 900 ₽ pro 1 qm, kostenloses Ausmessen und...')
Ergebnisausgabe in JSON
Allgemeines Ausgabeformat:
[% IF notFirst;
",\n";
ELSE;
notFirst = 1;
END;
obj = {};
obj.ads = [];
FOREACH item IN p1.ads;
obj.ads.push({
domain = item.domain
title = item.title
text = item.text
});
END;
obj.json %]
Anfangstext:
[
Endtext:
]
Beispielergebnis:
[{"ads": [{"domain":"oknamr.ru","text":"Das Unternehmen «<b>FENSTER</b> <b>MOSKAUS</b>» führt die Installation von Kunststoff-<b>fenstern</b>, Türen und Trennwänden sowie die Verglasung von Balkonen <b>in</b> <b>Moskau</b> und der Region Moskau durch.","title":"Kunststoff-<b>fenster</b> günstig <b>in</b> <b>Moskau</b>: kaufen zu niedrigen..."},{"domain":"gor-okna.ru","text":"Bestellen Sie hochwertige PVC-<b>fenster</b> <b>in</b> <b>Moskau</b> mit Lieferung und Installation. ... <b>Moskau</b>. täglich von 9:00 bis 21:00 Uhr.","title":"PVC-<b>fenster</b> günstig kaufen | PVC-<b>Fenster</b> <b>in</b> <b>Moskau</b> zu Preisen..."},{"domain":"balcon-msk.ru","text":"Das Unternehmen «Balkone <b>Moskaus</b>» bietet professionelle Verglasung von Balkonen und Loggien an ... Im Preis enthalten: Aluminium-<b>fenster</b> 3,2x0,7m h-1,5m, Wasserablauf, Montage...","title":"Verglasung von Balkonen und Loggien <b>in</b> <b>Moskau</b>."},{"domain":"oknamarket33.rf","text":"<b>Fenster</b> 1.3x1.4 für 9900 schlüsselfertig im Plattenbau! <b>Fenster</b> 2.0x1.4 für 13500 schlüsselfertig!","title":"Frühling! Zeit, neue PVC-<b>fenster</b> zu kaufen! Geschenk – Moskitonetz…"},{"domain":"okna-moskvy1.ru","text":"Nur bis Ende des Monats. REHAU-<b>Fenster</b> mit bis zu 60% Rabatt. Multiglas als Geschenk. Klicken Sie hier!","title":"<b>Fenster</b> <b>Moskaus</b>. Offizielle Website"},{"domain":"okno61.рф","text":"Kunststoff-<b>fenster</b> zu niedrigen Preisen! Fachgerechte Montage. Schnelle Lieferung. Garantie.","title":"<b>Fenster</b> <b>in</b> Bataisk! Saisonale Rabatte"},{"domain":"gorokna-11.ru","text":"PVC-<b>Fenster</b> mit Rabatt in Workuta","title":"Kunststoff-<b>fenster</b> <b>in</b> Workuta. <b>Fenster</b>, Loggien, Balkone"}]}]
Damit die Optionen "Anfangstext" und "Endtext" im Task-Editor verfügbar sind, muss "Mehr Optionen" aktiviert werden.
Mögliche Einstellungen
| Parameter | Standardwert | Beschreibung |
|---|---|---|
| Pages count | 10 | Anzahl der zu extrahierenden Seiten |
| Region of serp (lr=) | Moskau | Auswahl der Suchregion (Parameter lr=) |
| AntiGate preset | default | Verwendung eines Captcha-Lösungsdienstes. Zuvor muss der Parser  Util::AntiGate konfiguriert werden – geben Sie Ihren Zugriffsschlüssel und andere Parameter an und wählen Sie dann hier das erstellte Preset aus |