Vai al contenuto principale

SE::Google::Suggest - Scraper di suggerimenti di ricerca Google

Panoramica dello scraper

Scraper di suggerimenti di ricerca per parole chiave in Google. Grazie allo scraper SE::Google::Suggest potrai raccogliere automaticamente database di chiavi dai suggerimenti del motore di ricerca Google in base alla query. Utilizzando lo scraper SE::Google::Suggest è possibile estrarre facilmente e velocemente i suggerimenti di Google per query in base al paese, alla lingua o al dominio selezionati.

Lo Scraper dei suggerimenti di Google risolve uno dei compiti principali della SEO, ovvero l'ottenimento rapido e automatizzato di un core semantico esteso. I suggerimenti di ricerca di Google consentono di coprire il numero massimo di frasi e, in combinazione con lo scraper di parole chiave di Google - SE::Google::KeywordPlannerSE::Google::KeywordPlanner, otterrai una semantica il più completa possibile, che aiuterà ad attirare più traffico organico.

Grazie al multithreading di A-Parser, la velocità di elaborazione delle query può raggiungere 6000 richieste al minuto, il che consente mediamente di ottenere fino a 45000-46000 risultati al minuto.

Panoramica dello scraper: velocità di funzionamento

Puoi utilizzare la moltiplicazione automatica delle query, l'inserimento di sotto-query da file, l'iterazione di combinazioni alfanumeriche e liste per ottenere il massimo numero possibile di risultati. Utilizzando la filtrazione dei risultati puoi pulire immediatamente il risultato, rimuovendo tutta la spazzatura non necessaria (utilizzando le parole negative).

La funzionalità di A-Parser consente di salvare le impostazioni di scraping dello scraper SE::Google::Suggest per un uso futuro (preset), impostare pianificazioni di scraping e molto altro.

Il salvataggio dei risultati è possibile nel formato e nella struttura di cui hai bisogno, grazie al potente motore di template integrato Template Toolkit che permette di applicare logica aggiuntiva ai risultati e di esportare i dati in vari formati, inclusi JSON, SQL e CSV.

Casi d'uso dello scraper

Dati raccolti

  • Numero di risultati per query
  • Suggerimenti per la query
  • Tipo di suggerimento (0 - umano, 1 - artificiale)
Dati raccolti

Funzionalità

  • Supporta la scelta del paese di ricerca, del dominio e della lingua dei risultati
  • Possibilità di scegliere la fonte da utilizzare per la raccolta dei suggerimenti (opzione Client)
  • Possibilità di rimuovere i tag HTML dai risultati dello scraping (opzione Remove HTML tags)

Varianti di utilizzo

  • Raccolta di database di parole chiave

Query

Come query è necessario indicare frasi di ricerca, ad esempio:

write essay
Football
Waterfall
Speak in english
Cats and dogs
forex
cheap essay

Sostituzioni nelle query

Puoi utilizzare le macro integrate per la sostituzione automatica di sotto-query da file, ad esempio se vogliamo aggiungere a ogni query una lista di altre parole, indichiamo alcune query principali:

essay
article
thesis

Nel formato delle query indichiamo la macro di sostituzione di parole aggiuntive dal file Keywords.txt, questo metodo permette di aumentare esponenzialmente la variabilità delle query:

{subs:Keywords} $query 

Questa macro creerà tante query aggiuntive quante sono presenti nel file per ogni query di ricerca iniziale, il che risulterà in [numero di query iniziali] x [numero di query nel file Keywords] = [numero totale di query] come risultato del lavoro della macro.

Ad esempio, se il file Keywords.txt contiene:

buy
cheap

Alla fine la macro di sostituzione trasformerà 3 query principali in 6:

buy essay
cheap essay
buy article
cheap article
buy thesis
cheap thesis

Esempi di output dei risultati

A-Parser supporta una formattazione flessibile dei risultati grazie al motore di template integrato Template Toolkit, che gli consente di produrre risultati in forma libera o strutturata, come CSV o JSON

Esportazione della lista dei suggerimenti

Formato del risultato:

$results.format('$suggest\n')

Esempio di risultato:

buy essays online
buy essay cheap
buy essay uk
buy essays online no plagiarism
buy essay papers
buy essay online reviews
buy essays reddit
buy essay friend

Output di query, suggerimenti per query + tipo di suggerimento

Formato del risultato:

$query:\n$results.format('$suggest - $type\n')

Esempio di risultato:

cheap essay:
cheap essay writing service - 1
cheap essay writing service uk - 1
cheap essay writing service canada - 1
cheap essay writing 24 - 1
cheap essays online - 1
cheap essay writing service reddit - 1
cheap essay writing service australia - 1
cheap essay writing service review - 1
buy essay:
buy essay online - 1
buy essay cheap - 1
buy essay uk - 1
buy essay papers - 1
buy essay online reviews - 1
buy essays reddit - 1
buy essay friend - 1
buy essay online uk - 1

Output in tabella CSV

L'utility integrata $tools.CSVLine permette di creare documenti tabulari corretti, pronti per l'importazione in Excel o Google Fogli.

Formato generale del risultato:

[% FOREACH i IN p1.results;
tools.CSVline(i.suggest);
END %]

Nome del file:

$datefile.format().csv

Testo iniziale:

Suggerimenti

suggerimento

Nel Formato generale dei risultati viene applicato il motore di template Template Toolkit per l'output degli elementi dell'array $results in un ciclo FOREACH.

Nel nome del file dei risultati basta cambiare l'estensione del file in csv.

Affinché l'opzione "Prepend text" sia disponibile nell'Editor delle attività, è necessario attivare "More options". In "Prepend text" scriviamo i nomi delle colonne separati da virgola e lasciamo la seconda riga vuota.

Concorrenza delle parole chiave

Allo stesso modo di SE::Google.

Salvataggio in formato SQL

Formato del risultato:

[%  FOREACH results;    "INSERT INTO serp VALUES('" _ query _ "', '";   suggest _ "', '";   type _ "')\n"; END  %]

Esempio di risultato:

INSERT INTO serp VALUES('cheap essay', 'cheap essay writing service', '1')
INSERT INTO serp VALUES('cheap essay', 'cheap essay writing service uk', '1')
INSERT INTO serp VALUES('cheap essay', 'cheap essay writing service canada', '1')
INSERT INTO serp VALUES('cheap essay', 'cheap essay writing 24', '1')
INSERT INTO serp VALUES('buy essay', 'buy essay online', '1')
INSERT INTO serp VALUES('buy essay', 'buy essay cheap', '1')
INSERT INTO serp VALUES('buy essay', 'buy essay uk', '1')
INSERT INTO serp VALUES('buy essay', 'buy essay papers', '1')
...

Dump dei risultati in JSON

Formato comune del risultato:

[% IF notFirst;
",\n";
ELSE;
notFirst = 1;
END;

obj = {};
obj.totalcount = p1.totalcount;
obj.suggests = [];

FOREACH item IN p1.results;
obj.suggests.push(item.suggest);
END;

obj.json %]

Testo iniziale:

[

Testo finale:

]

Esempio di risultato:

[{"suggests":["buy essay online","buy essay cheap","buy essay uk","buy essays online no plagiarism","buy essay papers","buy essay online reviews","buy essays reddit","buy essay friend"],"totalcount":8}]
suggerimento

Affinché le opzioni "Prepend text" e "Append text" siano disponibili nell'Editor delle attività, è necessario attivare "More options".

Elaborazione dei risultati

A-Parser consente di elaborare i risultati direttamente durante lo scraping; in questa sezione abbiamo riportato i casi più popolari per lo scraper SE::Google::Suggest

Opzione Parse to level

L'opzione indica allo scraper di inserire i risultati ottenuti nella coda delle query in profondità fino al livello specificato, ad esempio:

  • Se viene indicato il 1° livello, lo scraper aggiungerà alle query tutti i risultati ottenuti dalla query iniziale
  • Se viene indicato il 2° livello, lo scraper aggiungerà alle query tutti i risultati ottenuti dalla query iniziale + tutti i risultati ottenuti dalle query del 1° livello
  • e così via.

In parole povere, si tratta dell'inserimento dei risultati ottenuti nella coda delle query, il che a sua volta permette di estrarre più risultati. Poiché nei risultati ci saranno probabilmente dei duplicati, per evitare che lo scraper faccia lavoro inutile (non esegua lo scraping della stessa cosa), si consiglia di attivare l'unicità delle query (Unique queries)

Opzione Parse to level
Scarica esempio

Come importare l'esempio in A-Parser

eJx9VE1v2zAM/SsGkcMGZEF72MW3NFiGDlmd1c0pyEGIaVerLHmSnDQw/N9HKo7t
bEFvpvj4+PFIN+CFe3Nriw69g3jbQBW+IYb0Wxx/N6ZQGMdpXRTofPQlWgvrMPIm
UnhAFeG7KCuFMIWKHZY5trdCCZFhLmpFXw34U4WUwlReGu3IJzMyA8WKeenlIFRN
mPu7doQ/oLUyw0tAZkoh9QCG4/E4K0Li2d6U8EFoMcoBm/Qj6OsYihra3W4KNCXq
xS2NLQVPa1Ldz7rR9c5UHPDFkDOXYUSXGLKeRMlsk0x4ZO8sD0SfPs/8OzOILJM8
G6HOGXiuQ9aNln9CNc5bqQvCk2kluqWlrmPwGEj48XSpcAuTYAPR1CH+1zkGYm9r
nIKjapeCasl6Ry6UI4/0aIU3Nunkihsweq5UkGqABfqHWqqM9mCeU9BjF3gbkvzH
0fYdjlORHEdLNfQswXpIfg5RmVmZghrXhtpWspSebLcwtWZt7ujxDbHqx/bEsNJY
7NN0zF12uocKNWs/qDavhqerNq6UuX7cG53LIun26YKs9QsdXaIXhk+H+9K1UqSK
w+dhQ+auk4GNocB/gxchBd/C5brAG6Pcj/RcamUlbeBXLrCkSY6zdpR7odTmeTX2
wLBRfFQ87gidEydguMfC0B5RM+2uv/v+F9LcvP64aUmm3259RnNPjKU3Go4jDejS
27/f2JZm

Filtrazione dei risultati (utilizzo di parole negative)

Utilizzando le parole negative è possibile rimuovere immediatamente i risultati che non ti servono. Allo stesso modo, utilizzando un filtro è possibile mantenere solo i risultati che contengono le parole desiderate.

Filtrazione dei risultati (utilizzo di parole negative)
Scarica esempio

Come importare l'esempio in A-Parser

eJx9VE1vGjEQ/SvIQkojpSgcetkbQaFqRUMa4EQ4WOywceO1tx4vFBH+e2e83g9a
xG1n5r2ZNx/ro/AS3/HZAYJHkayOogjfIhHzxyT5am2mIUnmZZYB+t7n3hKhlytT
Ym9vXYriThTSITgmry5xCJHCVpaavo7CHwqg3Lbwyhpmq5TMkGIKO9Dk2UldEmZ4
f+rgd+CcSqEmpDaXyrRgsd/vB1koPNjYXFyhZp0aYjm/Bn3rQsF0oVulPTgK07S4
tWQVv7gnjJ2v7yJuUZEcGOtz6TdvnbwO0lT5D6U1ZFJ/YCGNQgZUMyLENYlb6yhh
FNEm7Ucxgyr+6aYfNb2+mptbcVqva+U4CQjmFMNBXH4TnMsdLGzVL7TuCVlPMg+V
UumBo3Wp24H/wxkkt0UNSF1V4ANpqy6N+h2UonfKZIQn0ynAiaP1JcJDSMLOQ61w
JfrB5rmWgf+z4ojEuxJo7qR2IklL2gS2UiNFFC1Beutm8e6So7BmpHW4uRYW0j+U
Sqd00KMtkb5F4mXI7L8cp6bDbila2t6RhlpoMB5mP1pSaqc2o76Npa61ypUnG8e2
NLyae3K+AxTN1J4YllsHTZUoLxanH7oAwwfSLm1UtK6zLs4Wc+7cWLNV2SweXY0s
zYJejZkZ27zQwG2ZUmtaCsJLeyAjjFtgoxX4L3kcSvA/Xb8Swlur8fu8klo4RQf4
hQXmNMhu1ZhyI7Vevky7EdEeFD8OPO4eIMqDYLiHzNIZUTOndfN+NW/g8eIrlhxP
tKZf+FyhuSfGko+Gg+FHHZ7+As4s2Yc=
suggerimento

Impostazioni possibili

Nome parametroValore predefinitoDescrizione
ClientChrome omniboxScelta della fonte da utilizzare per la raccolta dei suggerimenti (Search page / Chrome omnibox)
Follow suggestsHumanScelta del tipo di suggerimenti da inserire nelle query quando si utilizza Parser to level (All / Synthetic / Human)
Google domainwww.google.comScelta del dominio
Search from countryGlobalScelta del paese da cui viene effettuata la ricerca
Interface languageEnglishScelta della lingua dell'interfaccia
Remove HTML tagsRimozione dei tag HTML