SE::Startpage - scraper dei risultati di startpage.com
Panoramica dello scraper
Scraper dei risultati di ricerca di Startpage. Grazie allo scraper Startpage potrai ottenere grandi database di link pronti per un ulteriore utilizzo. Puoi utilizzare le query nello stesso formato in cui le inserisci nella barra di ricerca di Startpage, inclusi gli operatori di ricerca (site, inurl, ecc.).
La funzionalità di A-Parser consente di salvare le impostazioni di scraping dello scraper Startpage per un uso futuro (preset), impostare pianificazioni di scraping e molto altro. Puoi utilizzare la generazione automatica delle query, la sostituzione di sotto-query da file, l'iterazione di combinazioni alfanumeriche e liste per ottenere il massimo numero possibile di risultati.
Il salvataggio dei risultati è possibile nel formato e nella struttura di cui hai bisogno, grazie al potente motore di modelli integrato Template Toolkit che consente di applicare logica aggiuntiva ai risultati e di esportare i dati in vari formati, tra cui JSON, SQL e CSV.
Dati raccolti
- Link, anchor e snippet dai risultati di ricerca
Funzionalità
- Supporta la scelta del paese, della lingua di ricerca e della lingua della pagina
- Possibilità di esportare insieme o separatamente anchor, link, snippet
- Possibilità di specificare il numero di risultati da visualizzare
- Specifica della dimensione dei risultati(10 o 20 risultati)
Casi d'uso
- Raccolta di database di link, anchor e snippet
- Ottenimento di un elenco di siti che vengono menzionati più spesso nei motori di ricerca
- Qualsiasi altro caso d'uso per l'ottenimento di informazioni
Query
Come query si indicano parole, frasi, combinazioni di parole nello stesso formato in cui vengono inserite nel motore di ricerca. Esempio:
test
site:http://test.ru
rose rosse
Sostituzioni nelle query
Puoi utilizzare i macro integrati per moltiplicare le query, ad esempio se vogliamo ottenere un database molto grande di forum, indichiamo alcune query principali in diverse lingue:
forum
forum
foro
论坛
Nel formato delle query indichiamo l'iterazione dei caratteri da a a zzzz, questo metodo permette di ruotare al massimo i risultati di ricerca e ottenere molti nuovi risultati unici:
$query {az:a:zzzz}
Questo macro creerà 475254 query aggiuntive per ogni query di ricerca iniziale, il che darà un totale di 4 x 475254 = 1901016 query di ricerca, una cifra impressionante, ma non è affatto un problema per A-Parser. Alla velocità di 2000 query al minuto, tale attività verrà elaborata in sole 16 ore.
Utilizzo degli operatori
Puoi utilizzare gli operatori di ricerca nel formato della query, in questo modo verranno aggiunti automaticamente a ogni query della tua lista:
site:$query
Esempi di output dei risultati
A-Parser supporta la formattazione flessibile dei risultati grazie al motore di modelli integrato Template Toolkit, che gli consente di produrre risultati in forma libera o strutturata, come CSV o JSON
Esportazione dell'elenco dei link
Link + anchor + snippet con visualizzazione della posizione
Output di link, anchor e snippet in una tabella CSV
Salvataggio in formato SQL
Dump dei risultati in JSON
Elaborazione dei risultati
A-Parser consente di elaborare i risultati direttamente durante lo scraping, in questa sezione abbiamo riportato i casi più popolari per lo scraper Startpage
Deduplicazione dei link
Deduplicazione dei link per dominio
Estrazione dei domini
Rimozione dei tag da anchor e snippet
Filtro dei link per inclusione
Impostazioni possibili
| Nome parametro | Valore predefinito | Descrizione |
|---|---|---|
| Pages count | 5 | Numero di pagine da scansionare (da 1 a 50) |
| Family filter | Filter depending on search | Scelta del livello di filtraggio (Filter all results / Filter depending on search / Do not filter my results) |
| Period | Any time | Scelta del periodo dei risultati (Any time / Past 24 hours / Past week / Past month / Past year) |
| Links per page | 10 | Dimensione dei risultati (10 / 20) |
| Results language | English | Scelta della lingua dei risultati |
| Page language | English | Scelta della lingua della pagina |
| Search country | All | Scelta del paese da cui viene effettuata la ricerca |