Vai al contenuto principale

SE::Google - Scraper dei risultati di ricerca di Google

Google

Panoramica dello scraper​

Lo scraper della SERP di Google è uno dei più richiesti; grazie ad esso potrai ottenere enormi database di link pronti per un ulteriore utilizzo. Puoi utilizzare le query nello stesso formato in cui le inserisci in Google, inclusi gli operatori di ricerca (inurl, intitle, ecc.).

Lo scraper Google supporta la moltiplicazione automatica delle query, garantendo di ottenere il numero massimo di risultati dalla SERP. Inoltre, A-Parser può navigare automaticamente attraverso le query correlate fino alla profondità specificata. Grazie al multithreading di A-Parser, la velocità di elaborazione può raggiungere 3000-7000 query al minuto, il che consente di ottenere in media fino a 500.000 link al minuto.

Le funzionalità di A-Parser consentono di salvare le impostazioni di scraping per un uso futuro (preset), impostare pianificazioni di scraping e molto altro. Puoi utilizzare la moltiplicazione automatica delle query, la sostituzione di sotto-query da file, l'iterazione di combinazioni alfanumeriche e liste per ottenere il massimo numero possibile di risultati.

Il salvataggio dei risultati è possibile nel formato e nella struttura necessari, grazie al potente motore di modelli integrato Template Toolkit che consente di applicare logica aggiuntiva ai risultati ed esportare dati in vari formati, inclusi JSON, SQL e CSV.

Casi d'uso dello scraper​

Dati raccolti​

Dati raccolti
  • Link, anchor e snippet dalla SERP, oltre alla data dallo snippet (se presente)
    • Vengono raccolte anche informazioni sui flag di ogni risultato; attualmente sono supportati: Date, AMP, Image Preview, Video, Rich snippet, Featured snippet
  • Presenza e contenuto dei blocchi pubblicitari, nonché la loro posizione sulla pagina
  • Numero di risultati per la query (concorrenza)
  • Elenco di parole chiave correlate (Related keywords)
  • Presenza di blocchi aggiuntivi sulla pagina: carosello prodotti, video, ecc.
  • Inoltre, lo scraper raccoglie i seguenti dati aggiuntivi:
    • Presenza di refusi nella query e query corretta
    • Posizione geografica determinata da Google
    • Presenza di pagine AMP
    • Elenco People also ask: domande, risposte, link alle fonti, loro anchor e link ai media (attivabile con l'opzione separata Parse People also ask)
    • Risposta AI (AI overview), il suo tipo e l'elenco delle fonti
Dati raccolti

Funzionalità​

Lo scraper del motore di ricerca Google possiede numerose funzionalità e impostazioni:

  • supporto per tutti gli operatori di ricerca Google (site:, inurl:, ecc.)
  • specifica della dimensione della SERP (10, 20, 30, 50 o 100 risultati) e del numero di pagine (da 1 a 10); con le impostazioni massime Google restituisce da 300 a 500 risultati per query, ma grazie alla moltiplicazione delle query A-Parser aggira facilmente questo limite
  • possibilità di navigazione automatica attraverso le parole chiave correlate
  • specifica della lingua e del paese della SERP, possibilità di scegliere il dominio locale di Google e la lingua dell'interfaccia
  • possibilità di specificare la geo-localizzazione, consentendo di ottenere risultati locali precisi per qualsiasi luogo nel mondo
  • scelta tra visualizzazione desktop o mobile
  • possibilità di scegliere il tipo di SERP: oltre alla ricerca organica principale, lo scraper di Google può raccogliere risultati da News, Libri o Video
  • se necessario, è possibile collegare il riconoscimento automatico di ReCaptcha2 tramite servizi di risoluzione o tramite XEvil/CapMonster
  • supporta la specifica dell'intervallo temporale (sempre o per un intervallo specifico da 24 ore a un anno)
  • possibilità di disattivare il filtro di Google per nascondere risultati simili (filter=)
  • possibilità di specificare se eseguire lo scraping se Google segnala che non è stato trovato nulla per la query indicata e suggerisce risultati per una query simile
  • possibilità di impostare il numero di People also ask che lo scraper deve raccogliere, cliccando in profondità su ogni domanda
  • possibilità di raccogliere tag

Sulla base dello scraper Google funzionano i seguenti scraper:

  • SE::Google::PositionSE::Google::Position - determinazione delle posizioni di qualsiasi sito nei risultati di ricerca per un elenco di query
  • SE::Google::CompromisedSE::Google::Compromised - controlla la pulizia dei domini dal punto di vista di Google, in grado di identificare siti hackerati e di phishing
  • SE::Google::TrustCheckSE::Google::TrustCheck - controlla il Trust (fiducia) di Google verso il sito

Varianti di utilizzo​

  • Raccolta di database di link - per XRumer, AllSubmitter, GSA Ranker, ecc.
  • Dump completo della SERP, inclusi link, anchor, snippet, blocchi pubblicitari e altre informazioni, consente un'analisi approfondita per specialisti SEO e marketer
  • Valutazione della concorrenza per parole chiave
  • Valutazione della concorrenza nella SERP PPC (pubblicitaria)
  • Ricerca di backlink e menzioni di siti
  • Verifica dell'indicizzazione dei siti
  • Ricerca di siti vulnerabili
  • Qualsiasi altra variante che implichi l'ottenimento di risultati di ricerca per un numero illimitato di query

Query​

Come query è necessario indicare frasi di ricerca, esattamente come se venissero inserite direttamente nel modulo di ricerca di Google, ad esempio:

acquisto auto
finestre a mosca
site:https://lenta.ru
inurl:guestbook

Sostituzioni nelle query​

Puoi utilizzare le macro integrate per moltiplicare le query; ad esempio, se vogliamo ottenere un database molto grande di forum, indichiamo alcune query di base in diverse lingue:

forum
forum
foro
论坛

Nel formato della query indichiamo l'iterazione dei caratteri da a a zzzz; questo metodo consente di ruotare al massimo la SERP e ottenere molti nuovi risultati unici:

$query {az:a:zzzz}

Questa macro creerà 475254 query aggiuntive per ogni query di ricerca iniziale, il che darà un totale di 4 x 475254 = 1901016 query di ricerca, una cifra impressionante, ma non è affatto un problema per A-Parser. Con una velocità di 2000 query al minuto, tale attività verrà elaborata in sole 16 ore.

Utilizzo degli operatori​

Puoi utilizzare gli operatori di ricerca nel formato della query, in modo che vengano aggiunti automaticamente a ogni query della tua lista:

inurl:$query

Varianti di output dei risultati​

A-Parser supporta la formattazione flessibile dei risultati grazie al motore di modelli integrato Template Toolkit, che gli consente di produrre risultati in forma libera o strutturata, come CSV o JSON.

Esportazione di un elenco di link​

Formato del risultato:

$serp.format('$link\n')

Esempio di risultato:

https://www.weforum.org/open-forum/
https://www.weforum.org/about/world-economic-forum/
https://www.merriam-webster.com/dictionary/forum
https://en.wikipedia.org/wiki/Forum
https://dictionary.cambridge.org/dictionary/english/forum
https://www.collinsdictionary.com/dictionary/english/forum
https://www.linkedin.com/company/world-economic-forum
https://docs.moodle.org/en/Forum_activity
https://wordpress.org/support/forums/
https://www.facebook.com/worldeconomicforum/
...

Formato del risultato:

[% FOREACH item IN serp;    loop.count _ ' - ' _ item.link _ ' - ' _ item.anchor _ ' - ' _ item.snippet _ "\n"; END %]

Esempio di risultato:

1 - https://ru.wikipedia.org/wiki/%D0%A4%D0%BE%D1%80%D1%83%D0%BC - Forum — Wikipedia - <em>Fórum</em> (lat. forum — arch. vestibolo della tomba; area nel torchio per l'uva da lavorare; piazza del mercato, mercato cittadino;&nbsp;...
2 - https://ru.wikipedia.org/wiki/%D0%A4%D0%BE%D1%80%D1%83%D0%BC_(%D0%BC%D0%B5%D1%80%D0%BE%D0%BF%D1%80%D0%B8%D1%8F%D1%82%D0%B8%D0%B5) - Forum (evento) — Wikipedia - <em>Forum</em> — evento organizzato per delineare o risolvere alcuni<wbr>problemi sufficientemente globali. Questo concetto si trova in&nbsp;...
3 - https://support.google.com/googleplay/community?hl=ru - Benvenuti nel forum di assistenza della community ... - Benvenuti nel forum di assistenza <em>forum</em> della community di Google Play. Post in primo piano. Visualizza tutti i post interessanti &middot; Serve aiuto con un gioco?
4 - https://support.google.com/mail/community?hl=en - Gmail Community - Google Support - Welcome to the Gmail Help Community &middot; Featured posts &middot; Categories.
5 - https://www.weforum.org/ - The World Economic Forum - The World Economic Forum is an independent international organization committed to improving the state of the world by engaging business, political, academic&nbsp;...
6 - https://www.kunena.org/ - Home - Kunena - To Speak! Next Generation Forum ... - Kunena! - To Speak! Next Generation Forum Component for Joomla.
7 - https://forum.adguard.com/index.php - AdGuard Forum - <em>Forum</em> beta tester. Scrivete qui le segnalazioni di bug delle versioni beta. Thread: 355. Messaggi: 11.6K. Sotto-forum: Commenti alle versioni beta&nbsp;...
8 - https://www.sofiaforum.bg/ - Sofia Security Forum: Piattaforma di discussione ... - Sofia <em>Forum</em> Security / Sofia Security Forum.
9 - https://forum.keenetic.net/ - Forums - Keenetic Community - Keenetic fan club. A place to meet software developers, get the latest updates, and share experience.
10 - https://forum.euroaion.com/ - Perfect quality European private server of Aion - EuroAion.com - Perfect quality European private server of Aion!
...

L'utility integrata $tools.CSVLine consente di creare documenti tabulari corretti, pronti per l'importazione in Excel o Google Fogli.

Formato generale del risultato:

[%  FOREACH i IN p1.serp;    tools.CSVline(i.link, i.anchor, i.snippet); END  %]

Nome del file:

$datefile.format().csv

Testo iniziale:

Link,Ancora,Snippet

Esempio di risultato:

Link,Ancora,Snippet
https://ru.wikipedia.org/wiki/%D0%A4%D0%BE%D1%80%D1%83%D0%BC,"Forum — Wikipedia",
https://en.wikipedia.org/wiki/Forum,"Forum - Wikipedia","<em>Forum</em> (plural forums or fora) may refer to: Contents. 1 Common uses; 2 Places. 2.1 Natural features; 2.2 Populated places. 3 Arts and entertainment; 4 Media."
https://www.weforum.org/,"The World Economic Forum","The World Economic <em>Forum</em> is an independent international organization committed to improving the state of the world by engaging business, political, academic&nbsp;..."
https://support.google.com/webmasters/community?hl=ru,"Benvenuti nel forum di assistenza della community ...","Benvenuti nel forum di assistenza <em>forum</em> della community Google Search Central. Post in primo piano. Visualizza tutti i post interessanti &middot; Risposte a&nbsp;..."
https://support.google.com/chrome/community?hl=ru,"Benvenuti nel forum di assistenza della community ...","Benvenuti nel forum di assistenza <em>forum</em> della community Google Chrome. In primo piano&nbsp;..."
...
suggerimento

Nel Formato generale dei risultati viene applicato il motore di modelli Template Toolkit per produrre l'array $serp in un ciclo FOREACH.

Nel nome del file dei risultati è sufficiente cambiare l'estensione del file in csv.

Affinché l'opzione "Prepend text" sia disponibile nell'Editor delle attività, è necessario attivare "More options". In "Prepend text" scriviamo i nomi delle colonne separati da virgola e lasciamo la seconda riga vuota.

Output dei blocchi pubblicitari​

Formato del risultato:

$ads.format('$link - $anchor - $snippet\n')

Esempio di risultato:

https://www.rentalcars.com/ - Rent a Car Worldwide - Best Prices Online Guaranteed - Secure Your <em>Car Hire</em> Today. The Best Price Guaranteed. Book at Over 53,000 Locations. Search, Compare and Save Using the World's Biggest Online <em>Car Rental</em> Service.
https://www.kayak.com/United-States-Car-Rentals.253.crc.html - United States from $9/day - Search for Rental Cars on Kayak - Find and Compare Great <em>Car</em> Deals in USA. Book with Confidence on KAYAK®!
https://www.discovercars.com/ - -70% Worldwide Car Rental - Rent Your Car in 5 Minutes‎ - <em>Car rental</em> prices are rising, but if you act fast, you can get a good deal. Don’t stress! We...
https://www.economybookings.com/ - Rent a Car for Summer Holidays - Car Rentals for the Best Price - Theft protection and Third Party liability part of a great deal. Free Mileage included.
...

Formato del risultato:

$related.format('$key\n')

Esempio di risultato:

test <b>speed</b>
<b>net speed</b> test
<b>google speed</b> test
<b>fast speed</b> test
<b>ping</b> test
<b>xfinity speed</b> test
<b>speed</b> test <b>mobile</b>
test <b>my</b>
...
suggerimento

Per rimuovere automaticamente i tag HTML nel risultato, è necessario utilizzare il Costruttore di risultati, selezionare l'array $related e applicare Remove HTML tags.

Concorrenza delle parole chiave​

Formato del risultato:

$query - $totalcount\n

Esempio di risultato:

speed test mobile - 1080000000
test score - 4020000000
net speed test - 1210000000
fast speed test - 2150000000
speed test - 2500000000
test match - 4160000000
ping test - 425000000
google speed test - 1870000000

Identificazione di parole chiave con errori​

Formato del risultato:

$query - $misspell\n

Esempio di risultato:

spead test - 1
test match - 0
speed test - 0
temst match - 1

Verifica dell'indicizzazione dei link​

Formato della query:

site:$query

Formato del risultato:

$query.orig - $totalcount\n

Esempio di risultato:

https://a-parser.com/pages/buy - 2
https://a-parser.com/wiki/parsers - 4
https://a-parser.com/resources - 883
https://trjkjfkdf.bg.ky - none
https://a-parser.com/forum - 371
suggerimento

Per verificare l'indicizzazione dei link, inseriamo nel Formato della query l'operatore corrispondente: site:.

Il formato del risultato viene visualizzato come "url originale - numero di pagine nell'indice".

Come risultato otteniamo l'indirizzo delle pagine e il loro numero nell'indice del motore di ricerca.

Se la pagina è assente, il risultato sarà: none.

Salvataggio in formato SQL​

Formato del risultato:

[%  FOREACH serp;   "INSERT INTO serp VALUES('" _ query _ "', '";   link _ "', '";  anchor _ "')\n"; END  %]

Esempio di risultato:

INSERT INTO serp VALUES('test', 'https://www.speedtest.net/', 'Speedtest by Ookla - The Global Broadband Speed Test')
INSERT INTO serp VALUES('test', 'https://fast.com/', 'Fast.com: Internet Speed Test')
INSERT INTO serp VALUES('test', 'https://www.business-standard.com/article/sports/ind-vs-aus-live-score-4th-day-5-india-vs-australia-live-cricket-score-online-brisbane-weather-121011900103_1.html', 'IND vs AUS 4th Test highlights: India creates history, wins ...')
INSERT INTO serp VALUES('test', 'https://www.test.com/', 'Find online tests, practice test, and test creation software | Test ...')
INSERT INTO serp VALUES('test', 'https://www.espncricinfo.com/series/india-in-australia-2020-21-1223867/australia-vs-india-4th-test-1223872/match-report-4', 'Recent Match Report - Australia vs India 4th Test 2020 ...')
INSERT INTO serp VALUES('test', 'https://www.icc-cricket.com/world-test-championship/standings', 'World Test Championship (2019-2021) Points Table - Live ...')
INSERT INTO serp VALUES('test', 'https://www.icc-cricket.com/rankings/mens/team-rankings/test', 'ICC Test Match Team Rankings International Cricket Council')
INSERT INTO serp VALUES('test', 'https://projectstream.google.com/speedtest', 'Speedtest - Google')
INSERT INTO serp VALUES('test', 'https://www.google.com/search?hl=en&q=Software+Testing&stick=H4sIAAAAAAAAAONgecQ4g5Fb4OWPe8JSfYyT1py8xtjOyMUVnJFf7ppXkllSKaTCxQZlSXHxSHHo5-obmJul5GkwSHFxwXlKwUbuuy5NO8fmKMgABGJm_g5SmlpCXOyexT75yYk5ggpvuB68mfLeXkuYiyMksSI_Lz-3UtCBgcHhx__39kqcnEBND7aoddhrMTTtW3GIjYWDUYCBZxGrQHB-Wkl5YlGqQkhqcUlmXjoAS5B1P7EAAAA&sa=X&ved=2ahUKEwiW-rnmlajuAhWpAGMBHR-JAv4Q6RMwHXoECDQQBQ', '')
...

Dump dei risultati in JSON​

Formato comune del risultato:

[% IF notFirst;
  ",\n";
ELSE;
  notFirst = 1;
END;

obj = {};
obj.totalcount = p1.totalcount;
obj.links = [];

FOREACH item IN p1.serp;
    obj.links.push(item.link);
END;

obj.json %]

Testo iniziale:

[

Testo finale:

]

Esempio di risultato:

[{"totalcount":"6450000000","links":["https://www.speedtest.net/","https://fast.com/","https://projectstream.google.com/speedtest","https://www.test.com/","https://www.speakeasy.net/speedtest/","https://www.att.com/support/speedtest/","https://speedtest.xfinity.com/","https://developers.google.com/speed/pagespeed/insights/","https://www.espncricinfo.com/series/india-in-australia-2020-21-1223867/australia-vs-india-4th-test-1223872/match-report-4","https://nasional.tempo.co/read/1424570/listyo-sigit-temui-ahy-menjelang-fit-and-profer-test-calon-kapolri","https://www.google.com/search?hl=en&q=Test+Assessment&stick=H4sIAAAAAAAAAONgecRYyC3w8sc9YamMSWtOXmNM4uIKzsgvd80rySypFNLiYoOyFLj4pbj10_UNjQyzKsvyzDQYpHi5kAWUNIxkdl2ado5NTJABCMTKAhyUODmBLIVA-wX2WgxN-1YcYmPhYBRg4FnEyh-SWlyi4FhcnFpcnJuaVwIAwEAP9ogAAAA&sa=X&ved=2ahUKEwj17MzXmajuAhW8CWMBHRlzBP4Q6RMwDHoECBEQBQ"]}]
suggerimento

Affinché le opzioni "Prepend text" e "Append text" siano disponibili nell'Editor delle attività, è necessario attivare "More options".

Elaborazione dei risultati​

A-Parser consente di elaborare i risultati direttamente durante lo scraping; in questa sezione abbiamo riportato i casi più popolari per lo scraper Google.

Aggiungi la deduplicazione e nel menu a discesa seleziona $serp.$i.link - Link.

Scarica esempio

Come importare l'esempio in A-Parser

eJx9VE1v2zAM/SsFkcMGBEFy2MW3NFiKDVnTNekpyEGNaUOLLGmSnDUw/N9H+ktO
N/Rmko+PfCTlCoLwZ//k0GPwkBwqsM03JLD7miQPxuQK7zZSn/3di5a/S4QpWOE8
OoYfRigKpJiJUgWYVhCuFonEXNA5mXJQpmRbZ96uDoOT6Ml3Eapk2GI+n0P9QZrI
8WRKHWLO4gO44n4tOk4bZcxHKWUvhuRyy8kBSJMlByfDcdoh9i3cU8c6h977oMyr
UJAEV2J9PPYsfm1cIXh4E7uYdZMcgjtxwb2hYCZVrOzXZD2KgqtMUhGQo7OsIfr0
eRbemEGkqQzSaKHaCjz7WLVbTALaEJY+ebprZwpyBWwI2HntuzvApLGjyp9tDiSZ
UB6n4KnVtaBG0vcRGdCJYNzWcj/kr8DopVIbvKCKsIb/vpQqpUNZZpT0rUv8P2T7
D0c9yBuXokX/cdTDwNJY99sfMSs1G5OT8vS1WWYhA9l+1VxPAnNynhHtMLNHnllh
HA5lOuauOr0Ni5qvKq5saaPrRsbNWm6dJ6MzmW+7S+2Rpd7TA9zqlSmsQtalS6Vo
LR6f43ksfbcGNmKD75NXTQmW3r9DCMYo/33XtmqdpPP7wg0WNMlx1Y7yJJR6ed6M
IxBPqjknz7QnutPc0AWRivo4/BGG/0g1/i8kVU1r+eWfWhBrYAj5aBieZs6P+S/t
6pW4
suggerimento

Vedi anche: Deduplicazione dei risultati

Aggiungi la deduplicazione e nel menu a discesa seleziona $serp.$i.link - Link. Seleziona il tipo di deduplicazione: Domain.

Scarica esempio

Come importare l'esempio in A-Parser

eJx9VE2P2jAQ/SvI4tBKaAWHXnJj6bJqRZftwp4QB0MmyMXxuLZDF0X89844IQ7b
am+ZmffefDq1CNIf/bMDD8GLbFMLG79FJlYPWfaIeNAwWChz9INXo35XMNidB1+x
lMqIkbDSeXBM3PTwFMihkJUOYlSLcLZAcngC51TOQZWTbR2+nR0Ep8CT7yR1xbDJ
eDwWlw9o8gB7rExInMkHcM2VW3BM6zHGPUoV26IgNc4lZxtBPVlyMFlsRy1i3cDz
a++N91HjTmqRBVfBZbu9qvg5ulLyGId2ctfOtAuu5AnWSMFC6ZTZz8l6kiVnGeYy
AEfviij06fNdeGMFmecqKDRSNxl49ilrsyLiGyQsffJ05w5LcgWIAuw8X6vbiGG0
U5c/G47ICqk9jISnUueSCsnfR1QAJwO6peV6yF8LNFOtF3ACnWBR/75SOqdDmRZE
+tYS/w9Z/qNx6drrp6JF/3FUQ6cSrfvlj8TKcYEHXtkuLrNUgWw/i9eTiTE5jwC2
m9kTz6xEB12aVrnNTq/EguGrSiub2uS6aeNmLbfOPZpCHZbtpV6RlVnTU1yaGZZW
A/dlKq1pLR5e0nlMfbsGNlKB78mzmIJbv75DERC1/75qSrVO0fl94QJLmmQ/ayu5
l1q/viz6EZFOKp6TZ9k93ekB6YKoi8u2+yN0f5S6/1/I6gut5Zd/bkDcA0PIR8Pw
NHN+zH8BRVyZDA==
suggerimento

Vedi anche: Deduplicazione dei risultati

Estrazione dei domini​

Aggiungi il Result Builders (Costruttore di risultati) e nel menu a discesa seleziona la fonte: $p1.serp.$i.link - Link. Seleziona il tipo: Extract Domain.

Scarica esempio

Come importare l'esempio in A-Parser

eJx9VE1v2zAM/SuFkMMGBIFz2MW3NGuGDVnTNe0p6EGzaUOLLGqSnCUw8t9HKort
dkNv5scj+cgndyJIv/cPDjwEL/JdJ2z8FrnY3uX5F8Raw83dMThZhJvP2EhlxFRY
6Tw4BuxGeRQooZKtDmLaiXCyQGXwAM6pkoOqJNs6PJ4cBKfAk+8gdctp8yzLxPkd
mKyhwNaEATN/J10rs/cWHMNGiOz88jIVxJBm9Ct0jWSmEzufJdp9cCsP8IQUrFQk
dsWQdS8bbjkpZQCOzqpY6MPHWThyBVmWKig0Ul868JqGrs9G/Y6MDVIuffIiVg4b
cgWIBdh5uk63E5NoCyrRRuyPC0bkldQepsLTqCtJg5RvIyqAkwHdxvI85O8EmoXW
aziAHtJi/dtW6ZJuuqgI9DUB/5+y+afGuac3bkU3+eNohr5KtG433wdUiWusiXn5
k3hr1ahAtl/GQ+ciI+cewPY7u+edNeigb5Mqp+4kZAuGBTCcbGEH1ysar84ycnbC
Y+sK6rfLpjtBQrdxOLMXrJ6kOLi8if5JSOfkifwpPWBSoTgTpkBTqXqTRHrt3Jon
en0bs8TGauA9mVZrOrOHx0FuC5/OysZA+C14GVvwKq9PkGZA7b9tL9StUzTSJybc
0GXGXVPJQmr9/LgeR8Qg0ShPz2UL0n2NpEhiweTSz6D/iXTjX0LenenMv/zDJYk5
cAr5aBmebsjv+C86oZM/
suggerimento

Vedi anche: Costruttore di risultati

Rimozione dei tag da anchor e snippet​

Aggiungi il Result Builders (Costruttore di risultati) e nel menu a discesa seleziona la fonte: $p1.serp.$i.anchor - Anchor. Seleziona il tipo: Remove HTML tags.

Aggiungi nuovamente il Result Builders (Costruttore di risultati) e nel menu a discesa seleziona la fonte: $p1.serp.$i.snippet - Snippet. Seleziona il tipo: Remove HTML tags.

Scarica esempio

Come importare l'esempio in A-Parser

eJyVVD1v2zAQ/SsC4aEFBEMeumhzjLpp4cSp7UxGBlY6qawpkiUpN4bg/947mpaU
NAjQjby79+7rkR3z3B3cgwUH3rF83zETzixn2895/kXrWkKygUYfIbnd3a0Sz2uX
VFY3yVwVP7V1CVdlslXCGKJImeHWgSWy/YgDHSVUvJWepR3zJwOYAkmtFSU5RYl3
Y/XzyYK3AojpyGVLYbMsy9j5HRivodCt8gNm9k64FOrgDFiCjRDZ+ekpZdg91uiW
2jacpjAxs2kcSe/c8iPsNDorERq7YvB2zxtKOSm5B/JOq0D04ePUPxMDL0vhhVZc
XjLQmIasj0r8Dh0rjbF4pEEscdZo8hAIyHi6Vrdnk3BnSNEG7PcLhuUVlw5S5rDU
JcdCytce4cFyr+3aUD1o75hWcylXcAQ5hAX+m1bIEnc6rxD0NQLfDln/w3Hu2xun
wp38sVhDzxJuN+u7AVXqla6x8/IH9i1FIzze3SIsOmcZGg8App/ZPc2s0Rb6NJE5
ZkeRG1AkgGFlczOYXrTxYi0jY8ecbm2B+fZZumcodENbDS+BkX6i5mx4Mbe+keS2
lp/QGKM9SSdCSKZvMbrLe/ovyivmjJhCq0rU66j8azut2uFzX6uFbowEGr5qpUTt
ONgMGp67qBW6DFN8DV6EFLSf67vGMrR037aXeRorsKpPaSx8nDVSFlzKx81q7GGD
7oPmHdEW+JhqjTLHLqi5+MP0v1Y3/mfy7oza+eUeLkHUA4WgDYfhUBj0OfwFH/O5
UQ==
suggerimento

Il Costruttore di risultati può essere aggiunto quante volte necessario.

Vedi anche: Costruttore di risultati

Aggiungi un filtro e nel menu a discesa seleziona: $serp.$i.link - Link. Seleziona il tipo: Contain string. Successivamente, in String (Stringa), inserisci il criterio di filtraggio.

Scarica esempio

Come importare l'esempio in A-Parser

eJx9VE1v2kAQ/StoxSGVEIJDL74RVKpWNKSBnBCHDR5bG9Y72901DbL83zuzNrZJ
qtw8H+/Nm491JYL0J//owEPwItlXwsZvkYjttyT5jphrGK2UDuCUyUcvl5EP8UuZ
kVbmJCbCSufBMXo/AFEghUyWOohJJcLFAnHiGZxTKQdVSrZ1+HZxQIzgyXeWuuS0
+Ww2E/UnMJnDEUsTesz8k3TW6S04hg0QswEkix1SkLpnycleUE+WHLHJw6TN2DXp
RzRBKjOQPD1iQSbaoNCQ7cF4UR8OV0a/QldInuvYzqftkLvgVp5hh40O6N00d3iQ
BfOPUxmAo9MsEt19mYY3ZpBpqrim1E0F3kNf9dmoP1GfQcqlT570ypHWRASIBOy8
XNXtxTja3HEZsb8bjEgyqT1MhCepK0lC0vcRRfORAd0mzoD8lUCz0HoNZ9B9WuS/
L5VO6WgWGYF+tMD/p2w+cNRde8NStPS/jjR0LNG63/zqUSmuMafO05e42EIFsv0y
XlIiZuQ8AdhuZg88swIddGVa5rY6PRsLhi+sX9nC9q6bNm7Wcuuka8pUvmmv9ppZ
mh29zY1ZYmE1cF+m1JrW4uGpP4+Fb9fARi/wPXgZS3Dr1zcpAqL2P7eNVOsUnd9X
FljQJIdVW8qj1Pr5aT2MiP6k4jl5pj3SneZIF0Rd1Ifu79D9YqrhPyKpalrLq39s
krgHTiEfDcPHlzSv/wHtZp3U
suggerimento

Vedi anche: Filtri dei risultati

Impostazioni possibili​

nota

Impostazioni comuni per tutti gli scraper

Parametri regionali​

  • Google domain - dominio Google utilizzato, predefinito google.com

  • Results language - ricerca di pagine nella lingua selezionata; nel browser corrisponde all'opzione Ricerca avanzata -> Impostazioni aggiuntive -> Cerca in (parametro url lr). Per impostazione predefinita non è impostato, il che significa rilevamento automatico basato sull'IP.

    Spoiler: Screenshot
    Results language

  • Interface language - lingua dei prodotti Google; nel browser corrisponde a Lingue -> Lingua dell'interfaccia (parametro url hl). Per impostazione predefinita è selezionato l'inglese.

    Spoiler: Screenshot
    Interface language

  • Search from country - scelta della regione di ricerca; nel browser corrisponde a Lingue -> Regione di ricerca (parametro url gl). Per impostazione predefinita non è impostato, il che significa rilevamento automatico basato sull'IP.

    Spoiler: Screenshot
    Search from country

  • Narrow results by region - ricerca di pagine create in un determinato paese; nel browser corrisponde a Ricerca avanzata -> Impostazioni aggiuntive -> Paese (parametro url cr). Per impostazione predefinita non è impostato, il che significa che l'opzione è disattivata.

    Spoiler: Screenshot
    Narrow results by region

  • Location (city) - posizione esatta della ricerca; nel browser viene determinata automaticamente in base alla posizione dell'utente. Per impostazione predefinita non è impostato, il che significa rilevamento automatico basato sull'IP della richiesta.

    Spoiler: Screenshot
    Location (city)

Tutti i parametri regionali influenzano in misura maggiore o minore i risultati della SERP.

Nome parametroValore predefinitoDescrizione
DeviceDesktopScelta tra SERP desktop o mobile: Desktop / Mobile
Pages count5Numero di pagine da sottoporre a scraping (da 1 a 100)
Parse pages links from first page☑Dalla prima pagina della SERP raccoglie i link a tutte le pagine di paginazione disponibili. Considerato solo con Device: Desktop; non attivo per la SERP mobile
Serp typeDefault (All)Determina se eseguire lo scraping dalla pagina principale, dalle news o dai blog (Books, News, Videos)
Hide omitted results☑Determina se nascondere i risultati omessi (parametro filter=)
Serp timeAnytimeTempo della SERP (ricerca dipendente dal tempo, parametro tbs=, valori possibili: Past 1 hour, Past 24 hours, Past week, Past year)
Parse not found☑Determina se eseguire lo scraping se Google segnala che non è stato trovato nulla per la query indicata e suggerisce risultati per un'altra query
Disable autocorrect☐Consente di disattivare l'autocorrezione di Google ed eseguire lo scraping esattamente per la query indicata
Exact match☐Corrisponde all'opzione nel motore di ricerca "Exact match". Attenzione, questa opzione sovrascrive il valore del parametro Serp time (analogamente al funzionamento di queste opzioni nel browser).
Safe searchBlurPossibilità di attivare "Safe search"
Google domainwww.google.comDominio Google per lo scraping, sono supportati tutti i domini (www.google.ac, www.google.com.af, www.google.co.ck ecc.)
Narrow results by regionAny region Possibilità di restringere la ricerca a un paese specifico
Results languageAuto (Based on IP)Scelta della lingua dei risultati (parametro lr=)
Search from countryAuto (Based on IP)Scelta del paese da cui viene effettuata la ricerca (ricerca geo-dipendente, parametro gl=)
Interface languageEnglishPossibilità di scegliere la lingua dell'interfaccia Google, per la massima identità dei risultati tra scraper e browser
Location (city)Ricerca per città, regione. È possibile indicare città come novosibirsk, russia; l'elenco completo delle località è disponibile in Geotargets (copia - utilizzare il valore dalla colonna Canonical Name). È inoltre necessario impostare il dominio Google corretto
Util::ReCaptcha2 presetdefaultDetermina se utilizzare Util::ReCaptcha2Util::ReCaptcha2 per aggirare i recaptcha
Util::AntiGate presetdefaultDetermina se utilizzare Util::AntiGateUtil::AntiGate per aggirare i captcha grafici
ReCaptcha2 retries3Numero di tentativi di invio della risposta per il recaptcha per il numero di volte indicato, senza cambiare proxy
ReCaptcha2 pass proxy☐Consente di passare il proxy (utilizzato nella richiesta a Google) e i cookie (ricevuti nella risposta da Google) al servizio di riconoscimento ReCaptcha
Use sessions☑Salva le sessioni valide, consentendo uno scraping ancora più veloce con meno errori.
Don't take session☐Possibilità di non utilizzare le sessioni valide salvate
Additional headersConsente di specificare qualsiasi intestazione personalizzata
PAA questions count0Numero massimo di domande-risposte (People also ask) per ogni query che lo scraper deve raccogliere
Empty totalcount is error☐Se attivato, la query sarà considerata fallita se manca il valore per $totalcount, e verranno effettuati nuovi tentativi di conseguenza
Count of retries when result is empty10Numero di tentativi di ripetizione della query se la pagina della SERP è completamente vuota
Redirect browser max pages10Numero di pagine del browser utilizzate per aggirare la protezione basata sulla verifica di JavaScript attivo
Single redirect browser for task☑Se nell'attività sono indicati più scraper Google — utilizza un solo browser per tutte le sotto-attività; il numero massimo di pagine e le altre impostazioni vengono prese dal primo scraper Google nell'attività