SE::Baidu - Scraper dei risultati di ricerca Baidu
Panoramica dello scraper
Scraper dei risultati di ricerca di Baidu. Grazie allo scraper Baidu potrai ottenere enormi database di link pronti per un ulteriore utilizzo. Puoi utilizzare le query nello stesso modo in cui le inserisci nella barra di ricerca di Bing, inclusi gli operatori di ricerca (filetype, site, intitle).
La funzionalità di A-Parser consente di salvare le impostazioni di scraping dello scraper Baidu per un uso futuro (preset), impostare pianificazioni di scraping e molto altro. Puoi utilizzare la moltiplicazione automatica delle query, la sostituzione di sotto-query da file, l'iterazione di combinazioni alfanumeriche e liste per ottenere il massimo numero possibile di risultati.
Nello scraper Baidu, il salvataggio dei risultati è possibile nella forma e nella struttura di cui hai bisogno, grazie al potente motore di modelli integrato Template Toolkit che consente di applicare logica aggiuntiva ai risultati e di esportare i dati in vari formati, inclusi JSON, SQL e CSV.
Casi d'uso dello scraper
🔗 Scraping di link completi Baidu
Questa risorsa mostra come è possibile eseguire lo scraping di link completi
🔗 Suggerimenti Baidu
Scraping multilivello dei suggerimenti Baidu
🔗 JS Scraper JS::SE::Baidu::Suggest
Creazione di JS Scraper. Ottenimento dei suggerimenti Baidu
Dati raccolti
- Link
- Snippet
- Anchor
- Numero totale di risultati
- Elenco di parole correlate
- Numero di pagine dei risultati
Funzionalità
- Esegue lo scraping fino a 5000 risultati per query
- Supporto per tutti gli operatori di ricerca Baidu (filetype:, site:, intitle:).
- Raccoglie i risultati per query e le parole chiave correlate
- Conversione dei link abbreviati in link completi (opzione Get full links)
Casi d'uso
- Raccolta di database di link - per A-Poster, XRumer, AllSubmitter, ecc.
- Valutazione della concorrenza per le parole chiave
- Verifica dell'indicizzazione dei siti
- Raccolta di pagine che contengono le parole chiave specificate nel titolo della pagina
Query
Come query è necessario specificare frasi di ricerca, ad esempio:
test
site:www.baidu.com
百度产品大全
intitle:scraper
Sostituzioni nelle query
Puoi utilizzare i macro integrati per moltiplicare le query, ad esempio se vogliamo ottenere un database molto grande di forum, indichiamo alcune query principali in diverse lingue:
forum
forum
foro
论坛
Nel formato della query indichiamo l'iterazione dei caratteri da a a zzzz, questo metodo consente di ruotare al massimo i risultati di ricerca e ottenere molti nuovi risultati unici:
$query {az:a:zzzz}
Questo macro creerà 475254 query aggiuntive per ogni query di ricerca iniziale, il che darà un totale di 4 x 475254 = 1901016 query di ricerca, una cifra impressionante, ma non è affatto un problema per A-Parser. Con una velocità di 2000 query al minuto, tale attività verrà elaborata in sole 16 ore.
Utilizzo degli operatori
Puoi utilizzare gli operatori di ricerca nel formato della query, in questo modo verranno aggiunti automaticamente a ogni query della tua lista:
site:$query
Esempi di output dei risultati
A-Parser supporta la formattazione flessibile dei risultati grazie al motore di modelli integrato Template Toolkit, che gli consente di produrre risultati in forma libera o strutturata, come CSV o JSON
Esportazione dell'elenco di link
Link + anchor + snippet con output della posizione
Output di link, anchor e snippet in una tabella CSV
Salvataggio delle parole chiave correlate
Concorrenza delle parole chiave
Verifica dell'indicizzazione dei link
Salvataggio in formato SQL
Dump dei risultati in JSON
Elaborazione dei risultati
A-Parser consente di elaborare i risultati direttamente durante lo scraping, in questa sezione abbiamo riportato i casi più popolari per lo scraper Baidu
Deduplicazione dei link
Deduplicazione dei link per dominio
Estrazione dei domini
Rimozione dei tag da anchor e snippet
Filtro dei link per inclusione
Impostazioni possibili
| Nome parametro | Valore predefinito | Descrizione |
|---|---|---|
| Pages count | 5 | Numero di pagine da sottoporre a scraping (da 1 a 100) |
| Links per page | 50 | Numero di link nei risultati per ogni pagina (10 / 20 / 50) |
| Get full links | ☐ | Conversione dei link abbreviati in link completi (disattivata per impostazione predefinita) |