Vai al contenuto principale

SE::Google::Trends - Scraper di keyword in tendenza secondo Google

Google Trends

Panoramica dello scraper

Scraper per le query di ricerca di Google Trends. Lo scraper Google Trends può ottenere automaticamente un elenco di tutte le categorie a cui appartiene una query, nonché un elenco di interessi per regione e tempo.

È possibile utilizzare la generazione automatica delle query, la sostituzione di sotto-query da file, l'iterazione di combinazioni alfanumeriche e liste per ottenere il massimo numero possibile di risultati. Utilizzando il filtraggio dei risultati è possibile pulire immediatamente il risultato, rimuovendo tutta la spazzatura non necessaria (utilizzando le parole chiave negative).

La funzionalità di A-Parser consente di salvare le impostazioni di scraping dello scraper SE::Google::Trends per un uso futuro (preset), impostare pianificazioni di scraping e molto altro.

Il salvataggio dei risultati è possibile nel formato e nella struttura necessari, grazie al potente motore di modelli integrato Template Toolkit che consente di applicare logiche aggiuntive ai risultati e di esportare i dati in vari formati, tra cui JSON, SQL e CSV.

Casi d'uso dello scraper

Dati raccolti

  • Elenco di tutte le categorie a cui appartiene la query, nel formato (query, categoria, percentuale di popolarità)
  • Elenco degli interessi nel tempo nel formato: tempo dell'interesse (in formato unix), percentuale di popolarità
  • Elenco degli interessi per regione nel formato: regione, percentuale di popolarità
  • Elenco delle query correlate principali (top)
  • Elenco delle query correlate in tendenza (rising)

Funzionalità

  • Possibilità di confrontare i dati per più parole chiave, elencandole separate da virgola
  • Possibilità di scegliere il paese per la valutazione della keyword
  • Scelta del periodo per il quale visualizzare i risultati
  • Scelta della proprietà per lo scraping (Web Search, Image Search, News Search, ecc.)
  • Scelta della categoria Google Trends (è possibile conoscere l'elenco delle categorie utilizzando lo scraper JS::GoogleTrendsCat)
  • Possibilità di specificare un intervallo di date personalizzato
  • Ricerca per categoria

Varianti di utilizzo

  • Valutazione del volume di traffico per una keyword
  • Ricerca di nuove parole chiave di argomenti simili
  • Per impostare date personalizzate, è necessario selezionare Custom time in Search time e specificare l'intervallo di date nel formato YYYY-MM-DD YYYY-MM-DD in Custom time range
  • La ricerca per categoria ignora la query inviata allo scraper (opzione Use empty queries(ignore query value))
Spoiler: Esempio
Esempio di utilizzo delle opzioni Search time e Custom time

Query

Come query è necessario indicare le parole chiave, esattamente come se venissero inserite direttamente nel modulo di ricerca di Google, ad esempio:

write essay
Football
Waterfall
Speak in english
Cats and dogs
forex
cheap essay

Sostituzioni nelle query

È possibile utilizzare i macro integrati per la sostituzione automatica di sotto-query da file; ad esempio, se vogliamo aggiungere a ogni query un elenco di altre parole, indichiamo alcune query principali:

essay
article
thesis

Nel formato delle query indichiamo il macro di sostituzione per le parole aggiuntive dal file Keywords.txt; questo metodo consente di aumentare esponenzialmente la varietà delle query:

{subs:Keywords} $query 

Questo macro creerà tante query aggiuntive quante sono presenti nel file per ogni query di ricerca originale, il che risulterà in [numero di query originali] x [numero di query nel file Keywords] = [numero totale di query] come risultato del lavoro del macro.

Ad esempio, se il file Keywords.txt contiene:

buy
cheap

Alla fine, il macro di sostituzione trasformerà 3 query principali in 6:

buy essay
cheap essay
buy article
cheap article
buy thesis
cheap thesis

Esempi di output dei risultati

A-Parser supporta la formattazione flessibile dei risultati grazie al motore di modelli integrato Template Toolkit, che gli consente di produrre risultati in forma libera o strutturata, come CSV o JSON

Esportazione dell'elenco delle query correlate in tendenza nel formato: query originale, parola chiave correlata, popolarità.

Formato del risultato:

$query:\n$related_queries_rising.format('$key,$rquery,$interest\n')

Esempio di risultato:

write essay:
write essay,write my essay 4 me,6550
write essay,write essay on globalization and 21st century,1450
write essay,grammarly,1100
write essay,how to write a hook for an argumentative essay,1000
write essay,write my essay for me cheap,1000
write essay,pay someone to write my essay,550
write essay,write that essay login,550
write essay,write my essay cheap,500
write essay,google docs,350
write essay,docs,300
write essay,how to write an argumentative essay step by step,250
write essay,someone write my essay,200
write essay,how long does it take to write a 1000 word essay,200
write essay,how long does it take to write a 2000 word essay,200
write essay,how to write a synthesis essay ap lang,200
write essay,pay to write essay,190
write essay,write essay on my school,180
write essay,how to write essay in hindi,170
write essay,write an essay on my school,170
write essay,help me write an essay,150
write essay,write my essay for me,130
write essay,help me write my essay,120
write essay,write my paper for me,120
write essay,how to write a hook for a persuasive essay,110
write essay,write essay for me,100

L'utility integrata $tools.CSVLine consente di creare documenti tabulari corretti, pronti per l'importazione in Excel o Google Sheets.

Formato generale del risultato:

[% FOREACH i IN p1.related_queries_rising;
tools.CSVline(i.key, i.rquery, i.interest);
END %]

Nome del file:

$datefile.format().csv

Testo iniziale:

Query originale,Parola chiave correlata,Popolarità

suggerimento

Nel Formato generale dei risultati viene utilizzato il motore di modelli Template Toolkit per l'output dell'array $related_queries_rising in un ciclo FOREACH.

Nel nome del file dei risultati è sufficiente cambiare l'estensione del file in csv.

Affinché l'opzione "Prepend text" sia disponibile nell'Editor delle attività, è necessario attivare "More options". In "Prepend text" scriviamo i nomi delle colonne separati da virgola e lasciamo la seconda riga vuota.

Salvataggio in formato SQL

Formato del risultato:

[%  FOREACH related_queries_rising;     "INSERT INTO serp VALUES('" _ key _ "', '";     rquery _ "', '";    interest _ "')\n"; END  %]

Esempio di risultato:

INSERT INTO serp VALUES('write essay', 'write my essay 4 me', '6550')
INSERT INTO serp VALUES('write essay', 'write essay on globalization and 21st century', '1450')
INSERT INTO serp VALUES('write essay', 'grammarly', '1100')
INSERT INTO serp VALUES('write essay', 'how to write a hook for an argumentative essay', '1000')
INSERT INTO serp VALUES('write essay', 'write my essay for me cheap', '1000')
INSERT INTO serp VALUES('write essay', 'pay someone to write my essay', '550')
INSERT INTO serp VALUES('write essay', 'write that essay login', '550')
INSERT INTO serp VALUES('write essay', 'write my essay cheap', '500')
INSERT INTO serp VALUES('write essay', 'google docs', '350')
INSERT INTO serp VALUES('write essay', 'docs', '300')
INSERT INTO serp VALUES('write essay', 'how to write an argumentative essay step by step', '250')
INSERT INTO serp VALUES('write essay', 'someone write my essay', '200')
INSERT INTO serp VALUES('write essay', 'how long does it take to write a 1000 word essay', '200')
INSERT INTO serp VALUES('write essay', 'how long does it take to write a 2000 word essay', '200')
INSERT INTO serp VALUES('write essay', 'how to write a synthesis essay ap lang', '200')
INSERT INTO serp VALUES('write essay', 'pay to write essay', '190')
INSERT INTO serp VALUES('write essay', 'write essay on my school', '180')
INSERT INTO serp VALUES('write essay', 'how to write essay in hindi', '170')
INSERT INTO serp VALUES('write essay', 'write an essay on my school', '170')
INSERT INTO serp VALUES('write essay', 'help me write an essay', '150')
INSERT INTO serp VALUES('write essay', 'write my essay for me', '130')
INSERT INTO serp VALUES('write essay', 'help me write my essay', '120')
INSERT INTO serp VALUES('write essay', 'write my paper for me', '120')
INSERT INTO serp VALUES('write essay', 'how to write a hook for a persuasive essay', '110')
INSERT INTO serp VALUES('write essay', 'write essay for me', '100')
...

Dump dei risultati in JSON

Formato del risultato:

[% IF notFirst;
",\n";
ELSE;
notFirst = 1;
END;

obj = {};
obj.related_queries_rising.key = [];
obj.related_queries_rising.rquery = [];
obj.related_queries_rising.interest = [];

FOREACH item IN p1.related_queries_rising;
obj.related_queries_rising.key.push(item.key);
obj.related_queries_rising.rquery.push(item.key);
obj.related_queries_rising.interest.push(item.key);
END;

obj.json %]

Testo iniziale:

[

Testo finale:

]

Esempio di risultato:

[{"related_queries_rising":{"rquery":["write my essay 4 me","write essay on globalization and 21st century","grammarly","how to write a hook for an argumentative essay","write my essay for me cheap","pay someone to write my essay","write that essay login","write my essay cheap","google docs","docs","how to write an argumentative essay step by step","someone write my essay","how long does it take to write a 1000 word essay","how long does it take to write a 2000 word essay","how to write a synthesis essay ap lang","pay to write essay","write essay on my school","how to write essay in hindi","write an essay on my school","help me write an essay","write my essay for me","help me write my essay","write my paper for me","how to write a hook for a persuasive essay","write essay for me"],"interest":[6550,1450,1100,1000,1000,550,550,500,350,300,250,200,200,200,200,190,180,170,170,150,130,120,120,110,100],"key":["write essay","write essay","write essay","write essay","write essay","write essay","write essay","write essay","write essay","write essay","write essay","write essay","write essay","write essay","write essay","write essay","write essay","write essay","write essay","write essay","write essay","write essay","write essay","write essay","write essay"]}}]
suggerimento

Affinché le opzioni "Prepend text" e "Append text" siano disponibili nell'Editor delle attività, è necessario attivare "More options".

Elaborazione dei risultati

A-Parser consente di elaborare i risultati direttamente durante lo scraping; in questa sezione abbiamo riportato i casi più popolari per lo scraper SE::Google::Trends

Utilizzo di una data personalizzata

Per impostare date personalizzate, è necessario selezionare Custom time in Search time e specificare l'intervallo di date nel formato YYYY-MM-DD YYYY-MM-DD in Custom time range.

Scarica esempio

Come importare l'esempio in A-Parser

eJx1U1GP2jAM/iuVxcNN4hDctJe+cWhMm9j1dsATQqeIuCy7NMmSlA1V/e9z0tIC
46RKjZ3vsz/HdgWeuTf3bNGhd5BuKjDxDCksP6fpF633EtN0ZVFxl9wna4fJrnRe
FwlnHmEIhlmHNnA3NygE4JizUnoYVuCPBimyPqC1gge24GQ7ZHb389WLIrgOTJYB
1aSB+n1eg7jmPYwfxvfjCX0JHen/kY5Qb7dDoNJIiZtrW7BQ4sBMRm293eWSHXCl
6TIXEnv3nKwnVoQEg1B5uB3lMdDdh5H/GyIwzoUXWjHZZAiP0mddK/E7ClSasHS0
At3cUokpeIwBgvN4UreBQbSBQpSR+6PhQJoz6XAIjqTOGQnh1zfCo2Ve28wEPeSv
QKuplAs8oOxhMf5jKSSnDk5zIn1tibch2X8x6q6881TUpz+WNHRRovWYfe9ZXC/0
/vQYUhTCk+1mulShMWNyviGa7s2eAqzQFrs0beQ2O02woXkjZN+yqeldF2VctOXS
udMqF/usHbQTslQrWpNMzXRhJIa6VCkltcXhSz8eU9e2IRi9wGvyLKYgWd1igNda
um/LRqqxgsbvUxBY0EueZ21D7piU65fF+Q30I0VGfO4EnWNHCHCPe02DRMXU225j
u6Wvbu1tWtXUpV/uuQGHkqKT9oxMagGkk/ofqyh6IQ==

Filtraggio dei risultati

Esempio di esportazione dell'elenco delle query correlate in tendenza la cui popolarità è inferiore a un valore specificato.

Esempio di filtraggio
Scarica esempio

Come importare l'esempio in A-Parser

eJxtVMFu2zAM/ZVACNAVcIP20IsPA9JgKTpkddekpzQohIoOtMiSK8pZA8P/PkqW
7aTLzaRIvsdH0jVzHHf4ZAHBIUvXNSvDN0vZ8kea3huzVZCmKwta4OhqNJfKgR3B
Jy9KBSxhJbcI1qeuz2RQgICcV8qxpGbuUAIVNnuwVgqfLQXZubEFdwQbwtieq8qH
jT8qsIf09VWPLSjuQLx5jwR8sxKl3k7axG8X4x0ckrEN8clYamII6Cjx4pI1A24e
uBNChErX7HxhTywWYZsk5q3aIt+PGN5eX5NlSieNJhNBI2s2mw4A54Gfb6W8mURd
+8cl38PKtLRgcJPA8MiLIIAgbv61a/Ry4j59BS6E9JhctQhe/QH1RcuPQE8bio2d
za0pyOUgFAhKdezWUWnfahVyf7c5LM25QkgYEtU5JyLi64skYbgzNgsakL9mRk+V
WsAe1BAW6t9VUglalWlOSQ8x8XxI9l+Npm/vGIoW6a8lDn2VYN1lv4YsYRZm24mh
ZCEd2TgzlfaD8fPbAZS9Zo8+rDAWephYOaLTpZS02BQ5jGxaDq6TNk7Gcup8NzqX
2yxeQhdZ6RWdY6Znxl+X70tXStFYEJ6H9ZhiHIM3BoJfk2cBgmj1F8icMQp/Lluq
pZW0freeYEFKHqPGku9cqZfnxfELG1aKjCD3CBD5gflwB1tDi0TNNJv+19D/XOpz
P4i0bmhKf/CpDfYtBSddGZnhsG6af/TaovA=
suggerimento

Impostazioni possibili

Nome parametroValore predefinitoDescrizione
Search regionWorldwideScelta della regione
LanguageEnglishScelta della lingua
Search timeDefault(Past 5 years)Scelta del periodo per il quale visualizzare il risultato
Custom time rangeStringa vuotaInserimento di un intervallo di date personalizzato quando Search time = Custom time (formato YYYY-MM-DD YYYY-MM-DD)
Search category id0Scelta della categoria
Search propertyDefault(Web Search)Scelta della proprietà per lo scraping (Web Search / Image Search / News Search / Google Shopping / YouTube Search)
Use empty queries(ignore query value)Ignora il valore della query inviata allo scraper ed effettua la ricerca per categoria