SE::Dogpile - Scraper dei risultati di ricerca Dogpile
Panoramica dello scraper
Scraper della SERP di Dogpile. Grazie allo scraper SE::Dogpile potrai ottenere grandi database di link pronti per l'uso successivo. Puoi utilizzare le query nello stesso formato in cui le inserisci nella barra di ricerca di Dogpile, inclusi gli operatori di ricerca (url, language, site, ecc.).
Le funzionalità di A-Parser permettono di salvare le impostazioni di scraping dello scraper Dogpile per un uso futuro (preset), impostare pianificazioni di scraping e molto altro. Puoi utilizzare la generazione automatica delle query, la sostituzione di sotto-query da file, l'iterazione di combinazioni alfanumeriche e liste per ottenere il massimo numero possibile di risultati.
Il salvataggio dei risultati è possibile nel formato e nella struttura di cui hai bisogno, grazie al potente motore di modelli integrato Template Toolkit che consente di applicare logica aggiuntiva ai risultati e di esportare i dati in vari formati, tra cui JSON, SQL e CSV.
Dati raccolti
- Link, anchor e snippet dalla SERP
- Elenco di parole chiave correlate (Related keywords)
Funzionalità
- Scraper del numero massimo di risultati forniti da Dogpile - 50 pagine da 10 elementi nella SERP
- Numero totale di risultati - 500
- Possibilità di cercare parole chiave correlate
Casi d'uso
- Raccolta di database di link - per A-Poster, XRumer, AllSubmitter, ecc.
- Valutazione della concorrenza per le keyword
- Ricerca di backlink (menzioni) di siti
- Verifica dell'indicizzazione dei siti
- Ricerca di siti vulnerabili
- Qualsiasi altro scenario che implichi lo scraping di Dogpile in un modo o nell'altro
Query
Come query è necessario specificare le frasi di ricerca, esattamente come se venissero inserite direttamente nel modulo di ricerca di Dogpile, ad esempio:
test
parser language: ru
site: a-parser.com
site: slideshare.net Java Developer gmail.com resume -sample -samples -example -templates
Sostituzioni nelle query
Puoi utilizzare i macro integrati per moltiplicare le query, ad esempio se vogliamo ottenere un database molto grande di forum, indichiamo alcune query principali in diverse lingue:
forum
forum
foro
论坛
Nel formato della query indichiamo l'iterazione dei caratteri da a a zzzz, questo metodo permette di ruotare al massimo i risultati di ricerca e ottenere molti nuovi risultati unici:
$query {az:a:zzzz}
Questo macro creerà 475254 query aggiuntive per ogni query di ricerca iniziale, il che darà un totale di 4 x 475254 = 1901016 query di ricerca, una cifra impressionante, ma non è affatto un problema per A-Parser. Con una velocità di 2000 query al minuto, tale attività verrà elaborata in sole 16 ore.
Utilizzo degli operatori
Puoi utilizzare gli operatori di ricerca nel formato della query, in questo modo verranno aggiunti automaticamente a ogni query della tua lista:
site:$query
Esempi di output dei risultati
A-Parser supporta la formattazione flessibile dei risultati grazie al motore di modelli integrato Template Toolkit, che gli consente di produrre risultati in forma libera o strutturata, come CSV o JSON
Esportazione dell'elenco di link
Link + anchor + snippet con visualizzazione della posizione
Output di link, anchor e snippet in una tabella CSV
Salvataggio delle parole chiave correlate
Verifica dell'indicizzazione dei link
Salvataggio in formato SQL
Dump dei risultati in JSON
Elaborazione dei risultati
A-Parser permette di elaborare i risultati direttamente durante lo scraping, in questa sezione abbiamo riportato i casi più popolari per lo scraper Dogpile
Deduplicazione dei link
Deduplicazione dei link per dominio
Estrazione dei domini
Rimozione dei tag da anchor e snippet
Filtrazione dei link per inclusione
Impostazioni possibili
| Nome parametro | Valore predefinito | Descrizione |
|---|---|---|
| Pages count | 10 | Numero di pagine da scansionare (da 1 a 50) |
| Bypass CloudFlare with Chrome | ☑ | Bypass automatico del controllo CloudFlare |
| Bypass CloudFlare with Chrome Max Pages | 10 | Numero massimo di pagine durante il bypass CF tramite Chrome |
| Bypass CloudFlare with Chrome Headless | ☑ | Se l'opzione è attiva, il browser non verrà visualizzato durante il bypass CF tramite Chrome |