SE::Yandex::Direct - Scraper di annunci Yandex Direct direct.yandex.ru
Panoramica dello scraper
SE::Yandex::Direct – scraper di annunci Yandex Direct. Raccolta automatizzata di tutti i dati: numero di annunci per una query specifica, titolo, testo, dominio, link aggiuntivi e relativi anchor, tag.È possibile utilizzare la generazione automatica delle query, la sostituzione di sotto-query da file, l'iterazione di combinazioni alfanumeriche e liste per ottenere il massimo numero possibile di risultati. Utilizzando il filtraggio dei risultati è possibile pulire immediatamente il risultato, rimuovendo tutta la spazzatura non necessaria (utilizzando le parole escluse).
La funzionalità di A-Parser consente di salvare le impostazioni di scraping dello scraper SE::Yandex::Direct per un uso futuro (preset), impostare pianificazioni di scraping e molto altro.
Il salvataggio dei risultati è possibile nella forma e nella struttura desiderata, grazie al potente motore di modelli integrato Template Toolkit che consente di applicare logiche aggiuntive ai risultati e di esportare i dati in vari formati, tra cui JSON, SQL e CSV.
Dati raccolti
- Numero di annunci per una query specifica
- Title, testo e dominio
- Link aggiuntivi e i loro anchor
- Tag
- Se il risultato è un annuncio pubblicitario
Funzionalità
- Scraper del numero massimo di risultati forniti da Yandex Direct – 10 pagine
- Supporta la selezione della regione di ricerca
- Possibilità di aggirare il captcha utilizzando il servizio AntiCaptcha o qualsiasi altro che supporti la loro API (si consiglia di abilitare il parametro is_russian nelle impostazioni di antigate)
Casi d'uso
- Raccolta dei competitor pubblicizzati per query specifiche
Query
Come query è necessario indicare frasi di ricerca, ad esempio:
Acquista kite
Photoshop
Finestre a Mosca
Ristrutturazione appartamenti
Sostituzioni nelle query
È possibile utilizzare i macro integrati per la sostituzione automatica di sotto-query da file, ad esempio se vogliamo aggiungere a ogni query una lista di altre parole, indichiamo alcune query principali:
fantasy
tower defense
rpg
Nel formato delle query indichiamo il macro di sostituzione di parole aggiuntive dal file keywords.txt, questo metodo consente di aumentare esponenzialmente la variabilità delle query:
{subs:keywords} $query
Questo macro creerà tante query aggiuntive quante ne sono presenti nel file per ogni query di ricerca iniziale, il che risulterà in [numero di query iniziali] x [numero di query nel file Keywords] = [numero totale di query] come risultato del lavoro del macro.
Ad esempio, se il file keywords.txt contiene:
free
online
Alla fine il macro di sostituzione trasformerà le 3 query principali in 6:
free fantasy
online fantasy
free tower defense
online tower defense
free rpg
online rpg
Esempi di output dei risultati
A-Parser supporta la formattazione flessibile dei risultati grazie al motore di modelli integrato Template Toolkit, che gli consente di produrre risultati in forma libera o strutturata, come CSV o JSON
Output predefinito
Formato del risultato:
$query - $totalcount\n$ads.format('$domain: $title - $text\n')
Esempio di risultato:
Photoshop - 5
www.syssoft.ru: Adobe Photoshop CS5 - Sconti - Photoshop CS5 scontato da un partner autorizzato. Ordina ora!
www.disted.ru: Impara a fotografare! - Formazione a distanza in lingua russa presso il New York Institute of Photography.
www.softkey.ru: Licenza Adobe Photoshop CS! - Le migliori nuove funzioni per l'elaborazione delle immagini di Adobe Photoshop.
www.softprof-it.ru: Licenza Photoshop da 23000 rubli - Prezzo basso Photoshop - da 23000 rubli. Chiama. Verifica le condizioni di acquisto.
photoshop.pro1904.ru: Lavoro virtuoso in Photoshop! - Corso unico "Photoshop da zero". Diventa un Maestro di Photoshop.
Acquista kite - 0
Finestre a Mosca - 33
www.imperia51.com: Finestre a Murmansk! Prezzi bassi! - Prezzi molto bassi! Garanzia! Montaggio di qualità! Tutto questo è «Imperia Okon»!
mirperegorodok-kms.ru: Azienda «Mir Peregorodok» - Sistemi in alluminio: pareti divisorie per uffici, gruppi d'ingresso, porte...
inkar-avto.ru: Mosca-Pietroburgo-Mosca in autobus - Lun, mar, mer, gio - 1000 rub, ven, sab, dom - 1300.
Output in tabella CSV
Formato generale del risultato:
[% FOREACH i IN p1.ads;
tools.CSVline(i.domain, i.title, i.text);
END %]
Nome del file:
$datefile.format().csv
Testo iniziale:
Dominio,Titolo,Testo
Nel Formato generale dei risultati viene applicato il motore di modelli Template Toolkit per l'output degli elementi dell'array $ads in un ciclo FOREACH.
Nel nome del file dei risultati è sufficiente cambiare l'estensione del file in csv.
Affinché l'opzione "Prepend text" sia disponibile nell'Editor delle attività, è necessario attivare "More options". In "Prepend text" scriviamo i nomi delle colonne separati da virgola e lasciamo la seconda riga vuota.
Salvataggio in formato SQL
Formato del risultato:
[% FOREACH ads;
"INSERT INTO ads VALUES('" _ domain _ "', '" _ title _ "', '" _ text _ "')\n";
END %]
Esempio di risultato:
INSERT INTO ads VALUES('oknamr.ru', 'In plastica <b>finestre</b> economiche <b>a</b> <b>Mosca</b>: acquista a basso...', 'L'azienda «<b>FINESTRE</b> <b>DI MOSCA</b>» esegue l'installazione di <b>finestre</b>, in plastica, porte e pareti divisorie, nonché vetrate per balconi <b>a</b> <b>Mosca</b> e dintorni.')
INSERT INTO ads VALUES('gor-okna.ru', 'Acquista <b>finestre</b> in PVC economiche | <b>Finestre</b> in PVC <b>a</b> <b>Mosca</b> ai prezzi...', 'Ordina <b>finestre</b> in PVC di qualità <b>a</b> <b>Mosca</b> con consegna e installazione. ... <b>Mosca</b>. dalle 9:00 alle 21:00 tutti i giorni.')
INSERT INTO ads VALUES('balcon-msk.ru', 'Vetrate per balconi e logge <b>a</b> <b>Mosca</b>.', 'L'azienda «Balconi di <b>Mosca</b>» produce vetrate professionali per balconi e logge ... Nel prezzo è incluso: <b>Finestre</b> in alluminio 3,2x0,7m h-1,5m, gocciolatoio, montaggio...')
INSERT INTO ads VALUES('finestreмаркет33.рф', 'Primavera! È tempo di acquistare nuove <b>finestre</b> in PVC! Regalo – Zanzariera…', '<b>Finestra</b> 1.3x1.4 1.3x1.4 per 9900 chiavi in mano in casa prefabbricata! <b>Finestra</b> 2.0x1.4 2.0x1.4 per 13500 chiavi in mano!')
INSERT INTO ads VALUES('topokno72.ru', 'In plastica <b>finestre</b>. Porte, balconi', '<b>finestre</b> in plastica e qualsiasi struttura in PVC WinTech, Exprof, Proplex, Rehau, KBE')
INSERT INTO ads VALUES('okna-moskvy1.ru', '<b>Finestre</b> <b>di Mosca</b>. Sito ufficiale', 'Solo fino alla fine del mese. <b>Finestre</b> REHAU REHAU con sconto fino al 60%. Multivetro in regalo. Clicca!')
INSERT INTO ads VALUES('russia.superjob.ru', 'In plastica e alluminio <b>finestre</b>', 'I nuovi colleghi ti stanno già aspettando! Ricerca comoda, raccomandazioni gratuite, importazione rapida. · 20 20 anni sul mercato. Raccomandazioni. Ricerca comoda. Supporto online')
INSERT INTO ads VALUES('gorokna-11.ru', 'In plastica <b>finestre</b> <b>a</b> Vorkuta. <b>Finestre</b>, logge, balconi', '<b>Finestre</b> in PVC scontate a Vorkuta')
INSERT INTO ads VALUES('shop.oknagorizont.ru', 'Negozio online di <b>finestre</b>, economiche in plastica <b>finestre</b>...', 'Negozio online di <b>finestre</b> senza montaggio, economiche in plastica <b>finestre</b> già oggi, prezzi bassi su <b>finestre</b>. Molte disponibili e su ordinazione, produzione rapida...')
INSERT INTO ads VALUES('msk-oknaidveri.ru', 'In plastica <b>finestre</b> in PVC e porte d'ingresso in metallo...', 'Classiche <b>finestre</b> in PVC - sono <b>finestre</b>, realizzate in plastica, certificate dal Ministero delle Costruzioni della Russia e conformi a SNiP e altri...')
INSERT INTO ads VALUES('oknamag.pro', 'In plastica <b>finestre</b> per casa di campagna acquista su Oknamag Pro', 'Dimensioni della <b>finestra</b> in plastica: 600 in plastica: 600 altezza, 600 larghezza. Varianti disponibili.. Visualizzazione rapida. Codice prodotto: opd0606.')
INSERT INTO ads VALUES('фурнитура-finestre.рф', 'Accessori per <b>finestre</b> in plastica - Ricambi...', 'Accessori per <b>finestre</b> <b>al</b> dettaglio e all'ingrosso. Ti aiuteremo a fare la scelta giusta di componenti e ricambi per le tue <b>finestre</b>.')
INSERT INTO ads VALUES('OknaGarant.ru', 'Nuove <b>finestre</b> in plastica <b>a</b> <b>Mosca</b>, acquista nuove...', '<b>Finestre</b> ti aspettano già nel nostro magazzino! Il magazzino si trova <b>a</b> <b>Mosca</b> entro il MKAD. Risparmio, costo significativamente inferiore (rispetto alle <b>finestre</b> su ordinazione).')
INSERT INTO ads VALUES('domaster.ru', 'Accessori per finestre e ferramenta acquista <b>a</b> <b>Mosca</b>...', 'Per <b>finestre</b> e porte. Negozio online Brass — il luogo dove acquisterai accessori per la cura delle <b>finestre</b> e ferramenta di diverse aziende con consegna in tutta la Russia.')
INSERT INTO ads VALUES('sms-m.ru', 'In plastica <b>finestre</b> produzione <b>a</b> <b>Mosca</b>', 'Quando si è posto il problema di minimizzare i costi nella produzione di edifici modulari, l'azienda StroyMontazhServis-M ha deciso di avviare la propria...')
INSERT INTO ads VALUES('rosband.ru', 'Acquista in plastica <b>finestre</b> <b>a</b> <b>Mosca</b>', 'In plastica <b>finestre</b> possiedono eccellenti proprietà di isolamento termico e non c'è alcuna necessità di spendere di più ... città di <b>Mosca</b>, 1-, 1-y Dobryninskiy pereulok, 19 str. 6.')
INSERT INTO ads VALUES('moskva.miltor.ru', 'Acquista <b>finestre</b> in plastica <b>a</b> <b>Mosca</b>: 185 offerte', 'Acquistare <b>finestre</b> in plastica <b>a</b> <b>Mosca</b> puoi farlo utilizzando gli annunci del nostro sito. Qui scoprirai il costo delle <b>finestre</b>, in plastica, le condizioni d'ordine e l'indirizzo...')
INSERT INTO ads VALUES('city-jaluzi.ru', 'Persiane per <b>finestre</b> acquista a prezzi bassi <b>a</b> <b>Mosca</b> - recensioni, foto...', 'Produciamo persiane per <b>finestre</b>, confezioniamo tende, assembliamo bastoni e tapparelle su ordinazione dal 2006 Prezzi da 495 a 5 900 ₽ per 1 mq, Misurazioni gratuite e...')
Dump dei risultati in JSON
Formato comune del risultato:
[% IF notFirst;
",\n";
ELSE;
notFirst = 1;
END;
obj = {};
obj.ads = [];
FOREACH item IN p1.ads;
obj.ads.push({
domain = item.domain
title = item.title
text = item.text
});
END;
obj.json %]
Testo iniziale:
[
Testo finale:
]
Esempio di risultato:
[{"ads": [{"domain":"oknamr.ru","text":"L'azienda «<b>FINESTRE</b> <b>DI MOSCA</b>» esegue l'installazione di <b>finestre</b>, in plastica, porte e pareti divisorie, nonché vetrate per balconi <b>a</b> <b>Mosca</b> e dintorni.","title":"In plastica <b>finestre</b> economiche <b>a</b> <b>Mosca</b>: acquista a prezzi bassi..."},{"domain":"gor-okna.ru","text":"Ordina di qualità <b>finestre</b> in PVC <b>a</b> <b>Mosca</b> con consegna e installazione. ... <b>Mosca</b>. dalle 9:00 alle 21:00 tutti i giorni.","title":"Acquista <b>finestre</b> in PVC economiche | <b>Finestre</b> in PVC <b>a</b> <b>Mosca</b> a prezzi..."},{"domain":"balcon-msk.ru","text":"L'azienda «Balconi di <b>Mosca</b>» produce vetrate professionali per balconi e logge ... Nel prezzo è incluso: <b>Finestre</b> in alluminio 3,2x0,7m h-1,5m, gocciolatoio, montaggio...","title":"Vetrate per balconi e logge <b>a</b> <b>Mosca</b>."},{"domain":"окнамаркет33.рф","text":"<b>Finestra</b> 1.3x1.4 1.3x1.4 per 9900 chiavi in mano in casa prefabbricata! <b>Finestra</b> 2.0x1.4 2.0x1.4 per 13500 chiavi in mano!","title":"Primavera! Tempo di acquistare nuove <b>finestre</b> in PVC! Regalo – Zanzariera…"},{"domain":"okna-moskvy1.ru","text":"Solo fino alla fine del mese. <b>Finestre</b> REHAU REHAU con sconto fino al 60%. Multivetro in regalo. Clicca!","title":"<b>Finestre</b> <b>di Mosca</b>. Sito ufficiale"},{"domain":"окно61.рф","text":"In plastica <b>finestre</b> a prezzi bassi! Montaggio di qualità. Consegna rapida. Garanzia.","title":"<b>Finestre</b> <b>a</b> Bataysk! Sconti stagionali"},{"domain":"gorokna-11.ru","text":"<b>Finestre</b> in PVC scontate a Vorkuta","title":"In plastica <b>finestre</b> <b>a</b> Vorkuta. <b>Finestre</b>,logge, balconi"}]}]
Affinché le opzioni "Prepend text" e "Append text" siano disponibili nell'Editor delle attività, è necessario attivare "More options".
Impostazioni possibili
| Parametro | Valore predefinito | Descrizione |
|---|---|---|
| Pages count | 10 | Numero di pagine da sottoporre a scraping |
| Region of serp (lr=) | Mosca | Selezione della regione di ricerca (parametro lr=) |
| AntiGate preset | default | Utilizzo del servizio di risoluzione captcha. È necessario configurare preventivamente lo scraper  Util::AntiGate - indicare la propria chiave di accesso e altri parametri, quindi selezionare il preset creato qui |