SE::Quora - scraper dei risultati di ricerca Quora
Panoramica dello scraper
SE::Quora - scraper dei risultati di ricerca di Quora.Raccoglie i risultati dall'omonimo servizio.
È possibile utilizzare la moltiplicazione automatica delle query, la sostituzione di sotto-query da file, l'iterazione di combinazioni alfanumeriche e liste per ottenere il massimo numero possibile di risultati.
La funzionalità di A-Parser consente di salvare le impostazioni di scraping dello scraper SE::Quora per un uso futuro (preset), impostare programmi di scraping e molto altro.
Il salvataggio dei risultati è possibile nel formato e nella struttura necessari, grazie al potente motore di modelli integrato Template Toolkit che consente di applicare logica aggiuntiva ai risultati e di esportare i dati in vari formati, tra cui JSON, SQL e CSV.
Dati raccolti
Quora ha 6 tipi di risultati: Questions, Answers, Posts, Profiles, Topics e Spaces. Ogni tipo ha un set di dati differente, pertanto nello scraper ogni tipo viene registrato in un proprio array separato. A seconda del tipo, vengono raccolti:
- Link alla domanda, testo della domanda, numero di risposte e data
- Autore della risposta, testo della risposta, link ai media nella risposta, data e ora della risposta, numero di voti, visualizzazioni e quante volte la risposta è stata condivisa
- Link al post, titolo del post, testo del post, link ai media nel post, nome e link al profilo dell'autore, data e ora di pubblicazione, numero di voti, visualizzazioni e quante volte è stato condiviso
- e altri dati a seconda del tipo di risultato
Funzionalità
- Scelta del tipo di risultato desiderato o scraping di tutti contemporaneamente
- Scelta dell'intervallo temporale dei risultati
Casi d'uso
- Qualsiasi scenario in cui sia necessario ottenere dati da Quora
Query
Come query è necessario specificare le parole chiave, ad esempio:
test
Esempi di output dei risultati
A-Parser supporta una formattazione flessibile dei risultati grazie al motore di modelli integrato Template Toolkit, che gli consente di produrre risultati in forma libera o strutturata, come CSV o JSON
Output predefinito
Formato del risultato:
$questions.format('$question\n')
Esempio di risultato:
What is the best free online IQ test?
What is software testing?
How reliable is the DNA testing offered by sites like Ancestry.com or 23andMe?
How can I pass a urine drug test for meth?
How do you know if you're really smart without taking an IQ test?
Which is the best test series for CAT?
How reliable are online IQ tests?
Is software testing a good career choice?
What is the best test series for the GATE examination?
What is the best way to get my IQ checked online?
...
Ottenere i cookie
Ottenere l'opzione obbligatoria per l'autorizzazione
Spoiler: come trovare i cookie?
- Vai su quora.com, effettua l'accesso
- Apri gli Strumenti per sviluppatori (F12) e aggiorna la pagina
- Vai alla scheda Network, trova la richiesta a quora.com
- Copia l'intera stringa dei cookie
Secondo i nostri test, gli account non vengono bannati (questo potrebbe cambiare in futuro), ma quando si esegue lo scraping in più di 10 thread, Quora inizia a restituire errori e messaggi relativi a un numero eccessivo di richieste. Pertanto, si consiglia di eseguire lo scraping con un numero ridotto di thread o di utilizzare i cookie di più account.
Impostazioni possibili
| Parametro | Valore predefinito | Descrizione |
|---|---|---|
| Pages count | 5 | Numero di pagine dei risultati |
| Results type | Questions | Tipo di risultati |
| Results time | All time | Tempo dei risultati |
| Cookie | Campo per specificare i cookie degli account autorizzati. È possibile specificare i cookie di più account, lo scraper ne sceglierà uno casualmente per ogni tentativo. |