SE::DuckDuckGo - Scraper dei risultati di ricerca DuckDuckGo
Panoramica dello scraper
Scraper dei risultati di ricerca di DuckDuckGo. Grazie allo scraper DuckDuckGo potrai ottenere grandi database di link pronti per l'uso successivo. Puoi utilizzare le query nello stesso formato in cui le inserisci nella barra di ricerca di DuckDuckGo, inclusi gli operatori di ricerca (intitle, inurl, site, ecc.). Maggiori dettagli sulla pagina ufficiale DuckDuckGo Search Syntax.
Le funzionalità di A-Parser consentono di salvare le impostazioni di scraping dello scraper DuckDuckGo per un uso futuro (preset), impostare pianificazioni di scraping e molto altro. Puoi utilizzare la moltiplicazione automatica delle query, la sostituzione di sotto-query da file, l'iterazione di combinazioni alfanumeriche e liste per ottenere il massimo numero possibile di risultati.
Il salvataggio dei risultati è possibile nel formato e nella struttura necessari, grazie al potente motore di modelli integrato Template Toolkit che consente di applicare logica aggiuntiva ai risultati e di esportare i dati in vari formati, tra cui JSON, SQL e CSV.
Dati raccolti
- Link, anchor e snippet dai risultati di ricerca
Funzionalità
- Supporto per tutti gli operatori di ricerca DuckDuckGo (intitle:, inurl:, site:, ecc.). Maggiori dettagli sugli operatori di ricerca sulla pagina ufficiale DuckDuckGo Search Syntax
- Estrae il numero massimo di risultati forniti - 10 pagine da 10 elementi nei risultati
- Numero totale di risultati - 100
- Possibilità di eseguire lo scraping in base alla posizione selezionata (opzione Location)
- Possibilità di scegliere la lingua dei risultati (opzione Language)
Casi d'uso
- Raccolta di database di link - per A-Poster, XRumer, AllSubmitter, ecc.
- Verifica dell'indicizzazione dei siti
- Ricerca di backlink (menzioni) di siti
- Qualsiasi altro scenario che comporti lo scraping di DuckDuckGo in una forma o nell'altra
Query
Come query è necessario specificare frasi di ricerca, ad esempio:
Football
test
site:a-parser.com
scraper site:a-parser.com
test -site:tests.com
IoT filetype:pdf
Sostituzioni nelle query
Puoi utilizzare i macro integrati per moltiplicare le query, ad esempio se vogliamo ottenere un database molto grande di forum, indichiamo alcune query di base in diverse lingue:
forum
forum
foro
论坛
Nel formato della query indichiamo l'iterazione dei caratteri da a a zzzz, questo metodo consente di ruotare al massimo i risultati di ricerca e ottenere molti nuovi risultati unici:
$query {az:a:zzzz}
Questo macro creerà 475254 query aggiuntive per ogni query di ricerca iniziale, il che darà un totale di 4 x 475254 = 1901016 query di ricerca, una cifra impressionante, ma non è affatto un problema per A-Parser. Alla velocità di 2000 query al minuto, tale attività verrà elaborata in sole 16 ore.
Utilizzo degli operatori
Puoi utilizzare gli operatori di ricerca nel formato della query, in questo modo verranno aggiunti automaticamente a ogni query della tua lista:
site:$query
Opzioni di output dei risultati
A-Parser supporta la formattazione flessibile dei risultati grazie al motore di modelli integrato Template Toolkit, che gli consente di produrre risultati in forma libera o strutturata, come CSV o JSON.
Esportazione della lista di link
Link + anchor + snippet con output della posizione
Output di link, anchor e snippet in una tabella CSV
Salvataggio delle parole chiave correlate
Verifica dell'indicizzazione dei link
Salvataggio in formato SQL
Dump dei risultati in JSON
Elaborazione dei risultati
A-Parser consente di elaborare i risultati direttamente durante lo scraping, in questa sezione abbiamo riportato i casi più popolari per lo scraper DuckDuckGo.
Deduplicazione dei link
Deduplicazione dei link per dominio
Estrazione dei domini
Rimozione dei tag da anchor e snippet
Filtro dei link per inclusione
Impostazioni possibili
| Nome parametro | Valore predefinito | Descrizione |
|---|---|---|
| Pages count | 5 | Numero di pagine da sottoporre a scraping (da 1 a 10) |
| Region | US (English) | Selezione della posizione |
| Language | English (United States) | Selezione della lingua |
| Safe search | Moderate | Possibilità di attivare il "Safe search" |
| Serp time | Any time | Periodo di ricerca |
| Use HTTP/2 | ☐ | Determina se utilizzare HTTP/2 invece di HTTP/1.1 |
| User agent | Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:120.0) Gecko/20100101 Firefox/120.0 | Intestazione User-Agent durante la richiesta delle pagine |