SE::Yandex::WordStat::ByDate - Scraper per le statistiche delle impressioni di Yandex WordStat per mesi o settimane
Panoramica dello scraper
Wordstat è un servizio di Yandex progettato per valutare l'interesse degli utenti per vari argomenti e selezionare parole chiave per l'ottimizzazione SEO e la pubblicità contestuale. Inoltre, con Wordstat Yandex è possibile valutare la stagionalità e la dipendenza geografica delle query di ricerca.
Lo scraper Yandex WordStat by date supporta la moltiplicazione automatica delle query, garantendo di ottenere il numero massimo di risultati dai dati forniti. Inoltre, A-Parser può navigare automaticamente attraverso le query correlate fino alla profondità specificata.
La funzionalità di A-Parser consente di salvare le impostazioni di scraping per un uso futuro (preset), impostare pianificazioni di scraping e molto altro. È possibile utilizzare la moltiplicazione automatica delle query, la sostituzione di sotto-query da file, la generazione di combinazioni alfanumeriche e liste per ottenere la massima quantità possibile di risultati.
Il salvataggio dei risultati è possibile nel formato e nella struttura necessari, grazie al potente motore di modelli integrato Template Toolkit che consente di applicare logica aggiuntiva ai risultati e di esportare i dati in vari formati, inclusi JSON, SQL e CSV.
Casi d'uso dello scraper
🔗 Automazione Wordstat bydate
Utilizzato per memorizzare informazioni aggiornate nel database e genera un file csv con i dati recenti ad ogni avvio
Account
Per il funzionamento dello scraper 
SE::Yandex::WordStat::ByDate sono necessari account Yandex. Gli account possono essere registrati utilizzando lo scraper 
SE::Yandex::Register o semplicemente aggiungendo gli account esistenti al file files/SE-Yandex/accounts.txt nel formato supportato.
In alternativa, è possibile abilitare la registrazione degli account "al volo".
Dati raccolti
- Statistiche delle parole chiave per mesi o settimane
- Data
- Valore assoluto
- Valore relativo
Funzionalità
- Supporta la selezione della regione di ricerca (con sottogruppi)
- Possibilità di selezionare più regioni contemporaneamente per la valutazione
- Supporto per il superamento automatico di Smart captcha e possibilità di superare i captcha grafici utilizzando il servizio AntiCaptcha o qualsiasi altro che supporti la loro API
- Selezione del tipo di dispositivo
- Possibilità di scegliere il metodo di autenticazione
- Possibilità di registrare account "al volo"
- Supporta il lavoro con il formato esteso degli account e sa rispondere alla domanda segreta (se la risposta è presente in
info). Inoltre, utilizza per l'autenticazione il proxy salvato (se presente ininfo).
Varianti di utilizzo
- Valutazione del volume di traffico per parola chiave
- Identificazione di parole chiave stagionali
Query
Come query, è necessario specificare le parole chiave esattamente come se venissero inserite direttamente nel modulo di ricerca di Wordstat, ad esempio:
test
Esempi di output dei risultati
A-Parser supporta la formattazione flessibile dei risultati grazie al motore di modelli integrato Template Toolkit, che gli consente di produrre risultati in forma libera o strutturata, come CSV o JSON.
Output predefinito
Formato del risultato:
Views:\n$views.format('$date $count $relcount\n')
Il risultato mostra le statistiche delle parole chiave per mese e per settimana:
Monthly:
2011-09-30 3010832 0.0008903808
2011-10-31 681432 0.0001825883
2011-11-30 628532 0.0001575008
2011-12-31 629072 0.0001495699
2012-01-31 561206 0.0001300651
2012-02-29 572039 0.0001290000
2012-03-31 614897 0.0001225754
2012-04-30 520433 0.0001185340
2012-05-31 521967 0.0001235327
2012-06-30 502568 0.0001299958
...
Weekly:
2012-09-16 118715 0.0001222877
2012-09-23 120799 0.0001211773
2012-09-30 137809 0.0001365837
2012-10-07 133929 0.0001313643
2012-10-14 140373 0.0001293922
2012-10-21 136014 0.0001242209
2012-10-28 148350 0.0001293328
2012-11-04 139556 0.0001232566
2012-11-11 154830 0.0001314057
2012-11-18 136458 0.0001147489
2012-11-25 149463 0.0001261401
2012-12-02 144724 0.0001197564
2012-12-09 149142 0.0001212195
2012-12-16 162864 0.0001298181
Output in tabella CSV
Formato del risultato:
[% FOREACH i IN views;
tools.CSVline(query, i.count, i.date);
END %]
Esempio di risultato:
"test",9661734,2012-03-31
"test",8567243,2012-04-30
"test",9028986,2012-05-31
"test",6082099,2012-06-30
"test",5531950,2012-07-31
"test",5214663,2012-08-31
"test",6603865,2012-09-30
"test",9127457,2012-10-31
"test",9238652,2012-11-30
Salvataggio in formato SQL
Formato del risultato:
[% FOREACH i IN views;
"INSERT INTO views VALUES('" _ query _ "', '"; i.count _ "', '"; i.relcount _ "', '"; i.date _ "')\n";
END %]
Esempio di risultato:
INSERT INTO serp VALUES('test', '9661734', '0.0019259985', '2012-03-31')
INSERT INTO serp VALUES('test', '8567243', '0.0019512785', '2012-04-30')
INSERT INTO serp VALUES('test', '9028986', '0.0021368683', '2012-05-31')
INSERT INTO serp VALUES('test', '6082099', '0.0015732140', '2012-06-30')
INSERT INTO serp VALUES('test', '5531950', '0.0013160071', '2012-07-31')
INSERT INTO serp VALUES('test', '5214663', '0.0013327945', '2012-08-31')
INSERT INTO serp VALUES('test', '6603865', '0.0015936909', '2012-09-30')
INSERT INTO serp VALUES('test', '9127457', '0.0018740506', '2012-10-31')
INSERT INTO serp VALUES('test', '9238652', '0.0018308715', '2012-11-30')
Dump dei risultati in JSON
Formato comune del risultato:
[% IF notFirst;
",\n";
ELSE;
notFirst = 1;
END;
obj = {};
obj.views = [];
FOREACH item IN p1.views;
obj.views.push({
date = item.date
relcount = item.relcount
count = item.count
});
END;
obj.json %]
Testo iniziale:
[
Testo finale:
]
Esempio di risultato:
[{
"views": [
{
"count": "9661734",
"date": "2012-03-31",
"relcount": "0.0019259985"
},
{
"count": "8567243",
"date": "2012-04-30",
"relcount": "0.0019512785"
},
{
"count": "9028986",
"date": "2012-05-31",
"relcount": "0.0021368683"
}
]
}]
Vedi anche: Filtri dei risultati
Impostazioni possibili
| Parametro | Valore predefinito | Descrizione |
|---|---|---|
| Period | Monthly | Scelta del periodo (Monthly/Weekly/Daily, Daily funziona solo con l'opzione Use Wordstat 2 abilitata) |
| Start date | | Specifica della data da cui eseguire la ricerca. Funziona solo con l'opzione Use Wordstat 2 abilitata. È obbligatorio considerare le regole per specificare la data |
| End date | | Specifica della data fino a cui eseguire la ricerca. Funziona solo con l'opzione Use Wordstat 2 abilitata. È obbligatorio considerare le regole per specificare la data |
| Region | All | Regione di ricerca |
| AntiGate preset | default | È necessario configurare preventivamente lo scraper  Util::AntiGate - specificando la propria chiave di accesso e altri parametri, quindi selezionare il preset creato qui |
| AntiGate preset for Login | default | Preset AntiGate per il login. È necessario configurare preventivamente lo scraper Util::AntiGate con i parametri, quindi selezionare il preset creato qui |
| Type | All | Scelta del tipo di dispositivo |
| Accounts | Only from "accounts.txt" | Scelta del metodo di lavoro con gli account: Always auto register - registra sempre automaticamente gli account "al volo", richiede la selezione di un preset configurato nel parametro SE::Yandex::Register preset. Auto register if no more in "accounts.txt" - prima vengono utilizzati gli account esistenti da accounts.txt, e se terminano viene utilizzata la registrazione automatica "al volo", per la quale è necessario selezionare un preset configurato nel parametro SE::Yandex::Register preset. Only from "accounts.txt" - utilizza solo gli account esistenti da accounts.txt, e se terminano attende il tempo specificato (parametro Wait new accounts in "accounts.txt") per la comparsa di nuovi |
| Wait new accounts in "accounts.txt" | 0 | Tempo di attesa per la comparsa di nuovi account in accounts.txt |
| Remove bad accounts | Always, except wrong login/password | Rimozione automatica degli account "cattivi": Always - rimuovi sempre. Always, except wrong login/password - rimuovi sempre, tranne nei casi in cui Yandex ha segnalato login/password errati. Il fatto è che Yandex può restituire tale messaggio in caso di ban dell'IP per un account perfettamente funzionante, quindi opzionalmente è possibile lasciare tali account per un riutilizzo. Never - non rimuovere mai. Indipendentemente dall'opzione scelta, in caso di errori di proxy/browser gli account non vengono rimossi |
| SE::Yandex::Register preset | default | Scelta del preset delle impostazioni per SE::Yandex::Register |
| Authorization method | HTTP | Metodo di autenticazione: HTTP - veloce, poco esigente in termini di risorse. Chrome - lento, esigente in termini di risorse, teoricamente può prolungare la vita degli account |
| Chrome headless | ☑ | Se l'opzione è abilitata, il browser non verrà visualizzato |
| Use sessions | ☑ | Utilizzo delle sessioni |
| Do not reset session if authorization passed | ☑ | Non resettare la sessione in caso di errori se lo scraper è già autenticato |
| Use Wordstat 2 | ☐ | Utilizzo di Wordstat 2 |
| Wordstat 2 parse all table data | ☑ | Consente di scaricare immediatamente tutti i 2000 risultati per query senza passare attraverso la paginazione |