SE::Yandex::Direct - Yandex Direct advertentie scraper direct.yandex.ru
Overzicht van de scraper
SE::Yandex::Direct – scraper voor Yandex Direct-advertenties. Geautomatiseerde verzameling van alle gegevens: aantal advertenties voor een specifieke zoekopdracht, titel, tekst, domein, extra links en hun ankers, tags.U kunt gebruikmaken van automatische query-vermenigvuldiging, substitutie van subquery's uit bestanden, het doorlopen van alfanumerieke combinaties en lijsten om het maximaal mogelijke aantal resultaten te verkrijgen. Door gebruik te maken van resultaatfiltering kunt u het resultaat direct opschonen door alle onnodige ruis te verwijderen (met behulp van uitsluitingswoorden).
De functionaliteit van A-Parser stelt u in staat om de instellingen voor de scraper SE::Yandex::Direct op te slaan voor toekomstig gebruik (presets), een schema voor gegevensextractie in te stellen en nog veel meer.
Het opslaan van resultaten is mogelijk in de vorm en structuur die u nodig heeft, dankzij de ingebouwde krachtige sjabloon-engine Template Toolkit waarmee u extra logica op de resultaten kunt toepassen en gegevens in verschillende formaten kunt uitvoeren, waaronder JSON, SQL en CSV.
Verzamelde gegevens
- Aantal advertenties voor een specifieke query
- Title, tekst en domein
- Extra links en hun ankerteksten
- Tags
- Of het resultaat een advertentie is
Mogelijkheden
- Scrapt het maximale aantal resultaten dat door Yandex Direct wordt gegeven – 10 pagina's
- Ondersteunt de selectie van de zoekregio
- Mogelijkheid tot omzeilen van captcha met behulp van de AntiCaptcha-service of elke andere service die hun API ondersteunt (het wordt aanbevolen om de parameter is_russian in te schakelen in de anticapcha-instellingen)
Toepassingen
- Verzamelen van concurrenten die adverteren op opgegeven zoekopdrachten
Query's
Als query's moeten zoektermen worden opgegeven, bijvoorbeeld:
Kite kopen
Photoshop
Ramen in Moskou
Appartementsrenovatie
Query-substituties
U kunt ingebouwde macro's gebruiken voor automatische substitutie van subquery's uit bestanden. Als we bijvoorbeeld aan elke query een lijst met andere woorden willen toevoegen, geven we enkele basisquery's op:
fantasy
tower defense
rpg
In het query-formaat geven we de macro op voor het invoegen van extra woorden uit het bestand keywords.txt. Deze methode stelt u in staat de variatie van query's aanzienlijk te vergroten:
{subs:keywords} $query
Deze macro maakt voor elke oorspronkelijke zoekopdracht evenveel extra query's aan als er in het bestand staan, wat resulteert in [aantal oorspronkelijke query's] x [aantal query's in het bestand Keywords] = [totaal aantal query's] als resultaat van de macro.
Bijvoorbeeld, als het bestand keywords.txt het volgende bevat:
free
online
Uiteindelijk zal de substitutie-macro de 3 basisquery's omzetten in 6:
free fantasy
online fantasy
free tower defense
online tower defense
free rpg
online rpg
Voorbeelden van resultaatuitvoer
A-Parser ondersteunt flexibele formattering van resultaten dankzij de ingebouwde sjabloon-engine Template Toolkit, waardoor resultaten in een willekeurige vorm kunnen worden uitgevoerd, evenals in een gestructureerde vorm zoals CSV of JSON.
Standaarduitvoer
Resultaatformaat:
$query - $totalcount\n$ads.format('$domain: $title - $text\n')
Voorbeeld van resultaat:
Photoshop - 5
www.syssoft.ru: Adobe Photoshop CS5 - Kortingen - Photoshop CS5 met korting van een geautoriseerde partner. Bestel nu!
www.disted.ru: Leer fotograferen! - Afstandsonderwijs in het Russisch aan het New York Institute of Photography.
www.softkey.ru: Gelicentieerde Adobe Photoshop CS! - De beste nieuwe functies voor beeldbewerking van Adobe Photoshop.
www.softprof-it.ru: Photoshop-licentie vanaf 23.000 roebel - Lage prijs voor Photoshop - vanaf 23.000 roebel. Bel ons. Informeer naar de aankoopvoorwaarden.
photoshop.pro1904.ru: Virtuoos werken in Photoshop! - Unieke cursus "Photoshop vanaf nul". Word een Photoshop-meester.
Kite kopen - 0
Ramen in Moskou - 33
www.imperia51.com: Ramen in Moermansk! Lage prijzen! - Zeer lage prijzen! Garantie! Kwalitatieve montage! Dit alles bij «Imperia Okon»!
mirperegorodok-kms.ru: Bedrijf «Mir Peregorodok» - Aluminium systemen: kantoorwanden, entreegroepen, deuren...
inkar-avto.ru: Moskou-St. Petersburg-Moskou per bus - Ma,di,wo,do - 1000 roebel, vr,za,zo - 1300.
Uitvoer naar CSV-tabel
Algemeen resultaatformaat:
[% FOREACH i IN p1.ads;
tools.CSVline(i.domain, i.title, i.text);
END %]
Bestandsnaam:
$datefile.format().csv
Koptekst:
Domein,Titel,Tekst
In het Algemeen resultaatformaat wordt de sjabloon-engine Template Toolkit toegepast om de elementen van de array $ads in een FOREACH-lus uit te voeren.
In de bestandsnaam van de resultaten hoeft u alleen de bestandsextensie te wijzigen naar csv.
Om de optie "Prepend text" beschikbaar te maken in de Task Editor, moet u "More options" activeren. In "Prepend text" schrijven we de kolomnamen gescheiden door een komma en maken we de tweede regel leeg.
Opslaan in SQL-formaat
Resultaatformaat:
[% FOREACH ads;
"INSERT INTO ads VALUES('" _ domain _ "', '" _ title _ "', '" _ text _ "')\n";
END %]
Voorbeeld van resultaat:
INSERT INTO ads VALUES('oknamr.ru', 'Kunststof <b>ramen</b> goedkoop <b>in</b> <b>Moskou</b>: kopen tegen lage...', 'Het bedrijf «<b>OKNA</b> <b>MOSKVY</b>» voert de installatie uit van kunststof <b>ramen</b>, deuren en wanden, evenals beglazing van balkons <b>in</b> <b>Moskou</b> en de regio Moskou.')
INSERT INTO ads VALUES('gor-okna.ru', 'Koop <b>ramen</b> PVC goedkoop | <b>Ramen</b> PVC <b>in</b> <b>Moskou</b> tegen prijzen...', 'Bestel kwalitatieve <b>ramen</b> PVC <b>in</b> <b>Moskou</b> met levering en installatie. ... <b>Moskou</b>. van 9:00 tot 21:00 dagelijks.')
INSERT INTO ads VALUES('balcon-msk.ru', 'Beglazing van balkons en loggia's <b>in</b> <b>Moskou</b>.', 'Bedrijf «Balkony <b>Moskvy</b>» produceert professionele beglazing van balkons en loggia's ... In de prijs inbegrepen: <b>Ramen</b> aluminium 3,2x0,7m h-1,5m, waterafvoer, montage...')
INSERT INTO ads VALUES('ramenмаркет33.рф', 'Lente! Tijd om nieuwe <b>ramen</b> PVC te kopen! Cadeau – Hor…', '<b>Raam</b> 1.3x1.4 voor 9900 sleutelklaar in een paneelhuis! <b>Raam</b> 2.0x1.4 voor 13500 sleutelklaar!')
INSERT INTO ads VALUES('topokno72.ru', 'Kunststof <b>ramen</b>. Deuren, balkons', 'Kunststof <b>ramen</b> en alle constructies van PVC WinTech, Exprof, Proplex, Rehau, KBE')
INSERT INTO ads VALUES('okna-moskvy1.ru', '<b>Ramen</b> <b>Moskvy</b>. Officiële site', 'Alleen tot het einde van de maand. <b>Ramen</b> REHAU met korting tot 60%. Multiglas cadeau. Klik!')
INSERT INTO ads VALUES('russia.superjob.ru', 'Kunststof en aluminium <b>ramen</b>', 'Nieuwe collega's wachten al op je! Handig zoeken, gratis aanbevelingen, snelle import. · 20 jaar op de markt. Aanbevelingen. Handig zoeken. Online ondersteuning')
INSERT INTO ads VALUES('gorokna-11.ru', 'Kunststof <b>ramen</b> <b>in</b> Vorkoeta. <b>Ramen</b>, loggia's, balkons', '<b>Ramen</b> PVC met korting in Vorkoeta')
INSERT INTO ads VALUES('shop.oknagorizont.ru', 'Webshop <b>ramen</b>, goedkope kunststof <b>ramen</b>...', 'Webshop <b>ramen</b> zonder montage, goedkope kunststof <b>ramen</b> vandaag al, lage prijzen voor <b>ramen</b>. Veel op voorraad en op bestelling, snelle productie...')
INSERT INTO ads VALUES('msk-oknaidveri.ru', 'Kunststof <b>ramen</b> PVC en metalen voordeuren...', 'Klassieke PVC-<b>ramen</b> - dit zijn <b>ramen</b>, gemaakt van kunststof, gecertificeerd door het Ministerie van Bouw van Rusland en voldoend aan SNiP en andere...')
INSERT INTO ads VALUES('oknamag.pro', 'Kunststof <b>ramen</b> voor vakantiehuis kopen bij Oknamag Pro', 'Afmetingen kunststof <b>raam</b>: hoogte 600, breedte 600. Beschikbare opties... Snel bekijken. Artikelcode: opd0606.')
INSERT INTO ads VALUES('фурнитура-ramen.рф', 'Beslag voor kunststof <b>ramen</b> - Onderdelen...', 'Beslag voor <b>ramen</b> <b>in</b> detailhandel en groothandel. Wij helpen u de juiste keuze te maken voor componenten en onderdelen voor uw kunststof <b>ramen</b>.')
INSERT INTO ads VALUES('OknaGarant.ru', 'Kant-en-klare kunststof <b>ramen</b> <b>in</b> <b>Moskou</b>, koop nieuwe...', '<b>Ramen</b> wachten al op u in ons magazijn! Het magazijn bevindt zich <b>in</b> <b>Moskou</b> binnen de MKAD. Besparing, kosten aanzienlijk lager (vergeleken met <b>ramen</b> op bestelling).')
INSERT INTO ads VALUES('domaster.ru', 'Raamaccessoires en beslag kopen <b>in</b> <b>Moskou</b>...', 'Voor <b>ramen</b> en deuren. Webshop Brass — plek waar u accessoires koopt voor het onderhoud van <b>ramen</b> en beslag van verschillende bedrijven met levering door heel Rusland.')
INSERT INTO ads VALUES('sms-m.ru', 'Kunststof <b>ramen</b> productie <b>in</b> <b>Moskou</b>', 'Toen de vraag rees over het minimaliseren van kosten bij de productie van modulaire gebouwen, besloot het bedrijf StroyMontazhServis-M om een eigen... te starten')
INSERT INTO ads VALUES('rosband.ru', 'Koop kunststof <b>ramen</b> <b>in</b> <b>Moskou</b>', 'Kunststof <b>ramen</b> hebben uitstekende thermische isolatie-eigenschappen en het is niet nodig om meer uit te geven ... Moskou, 1-y Dobryninskiy pereulok, 19 str. 6.')<b>Moskou</b>, 1-y Dobryninskiy pereulok, 19 str. 6.')
INSERT INTO ads VALUES('moskva.miltor.ru', 'Koop kunststof <b>ramen</b> <b>in</b> <b>Moskou</b>: 185 aanbiedingen', 'Kunststof <b>ramen</b> <b>in</b> <b>Moskou</b> kopen kunt u doen via de advertenties op onze site. Hier vindt u de kosten van kunststof <b>ramen</b>, bestelvoorwaarden en adres...')
INSERT INTO ads VALUES('city-jaluzi.ru', 'Jaloezieën voor <b>ramen</b> goedkoop kopen <b>in</b> <b>Moskou</b> - reviews, foto...', 'Wij produceren jaloezieën voor <b>ramen</b>, naaien gordijnen, assembleren gordijnroedes en rolluiken op bestelling sinds 2006. Prijzen van 495 tot 5 900 ₽ per 1 m², gratis inmeten en...')
Resultaten dumpen naar JSON
Algemeen resultaatformaat:
[% IF notFirst;
",\n";
ELSE;
notFirst = 1;
END;
obj = {};
obj.ads = [];
FOREACH item IN p1.ads;
obj.ads.push({
domain = item.domain
title = item.title
text = item.text
});
END;
obj.json %]
Begintekst:
[
Eindtekst:
]
Voorbeeld van resultaat:
[{"ads": [{"domain":"oknamr.ru","text":"Het bedrijf «<b>OKNA</b> <b>MOSKVY</b>» voert de installatie uit van kunststof <b>ramen</b>, deuren en wanden, evenals beglazing van balkons <b>in</b> <b>Moskou</b> en de regio Moskou.","title":"Kunststof <b>ramen</b> goedkoop <b>in</b> <b>Moskou</b>: kopen tegen lage..."},{"domain":"gor-okna.ru","text":"Bestel kwalitatieve <b>ramen</b> PVC <b>in</b> <b>Moskou</b> met levering en installatie. ... <b>Moskou</b>. van 9:00 tot 21:00 dagelijks.","title":"Koop <b>ramen</b> PVC goedkoop | <b>Ramen</b> PVC <b>in</b> <b>Moskou</b> tegen prijzen..."},{"domain":"balcon-msk.ru","text":"Bedrijf «Balkony <b>Moskvy</b>» produceert professionele beglazing van balkons en loggia's ... In de prijs inbegrepen: <b>Ramen</b> aluminium 3,2x0,7m h-1,5m, waterafvoer, montage...","title":"Beglazing van balkons en loggia's <b>in</b> <b>Moskou</b>."},{"domain":"oknamarket33.rf","text":"<b>Raam</b> 1.3x1.4 voor 9900 sleutelklaar in een paneelhuis! <b>Raam</b> 2.0x1.4 voor 13500 sleutelklaar!","title":"Lente! Tijd om nieuwe te kopen <b>ramen</b> PVC! Cadeau – Hor…"},{"domain":"okna-moskvy1.ru","text":"Alleen tot het einde van de maand. <b>Ramen</b> REHAU met korting tot 60%. Multiglas cadeau. Klik!","title":"<b>Ramen</b> <b>Moskvy</b>. Officiële site"},{"domain":"окно61.рф","text":"Kunststof <b>ramen</b> tegen lage prijzen! Kwaliteitsmontage. Snelle levering. Garantie.","title":"<b>Ramen</b> <b>in</b> Bataysk! Seizoenskortingen"},{"domain":"gorokna-11.ru","text":"<b>Ramen</b> PVC met korting in Vorkoeta","title":"Kunststof <b>ramen</b> <b>in</b> Vorkoeta. <b>Ramen</b>,loggia's, balkons"}]}]
Om de opties "Prepend text" en "Append text" beschikbaar te maken in de Task Editor, moet u "More options" activeren.
Mogelijke instellingen
| Parameter | Standaardwaarde | Beschrijving |
|---|---|---|
| Pages count | 10 | Aantal pagina's om te scrapen |
| Region of serp (lr=) | Moskou | Selectie van de zoekregio (parameter lr=) |
| AntiGate preset | default | Gebruik van een captcha-oplossingsservice. Het is noodzakelijk om vooraf de scraper  Util::AntiGate te configureren - geef uw toegangssleutel en andere parameters op, en selecteer vervolgens de gemaakte preset hier |