SE::Quora - Quora zoekresultaten scraper
Overzicht van de scraper
SE::Quora - scraper voor Quora-zoekresultaten.Verzamelt resultaten van de gelijknamige dienst.
U kunt automatische query-multiplicatie, substitutie van subquery's uit bestanden, het doorlopen van alfanumerieke combinaties en lijsten gebruiken om het maximaal mogelijke aantal resultaten te verkrijgen.
De functionaliteit van A-Parser maakt het mogelijk om instellingen van de SE::Quora scraper op te slaan voor toekomstig gebruik (presets), een schema voor gegevensextractie in te stellen en nog veel meer.
Het opslaan van resultaten is mogelijk in de vorm en structuur die u nodig heeft, dankzij de ingebouwde krachtige sjabloon-engine Template Toolkit waarmee u extra logica op de resultaten kunt toepassen en gegevens in verschillende formaten kunt uitvoeren, waaronder JSON, SQL en CSV.
Verzamelde gegevens
Quora heeft 6 typen resultaten: Questions, Answers, Posts, Profiles, Topics en Spaces. Bij elk type verschilt de dataset, daarom wordt in de scraper elk type in zijn eigen afzonderlijke array opgeslagen. Afhankelijk van het type wordt het volgende verzameld:
- Link naar de vraag, tekst van de vraag, aantal antwoorden en datum
- Auteur van het antwoord, tekst van het antwoord, links naar media in het antwoord, datum en tijd van het antwoord, aantal stemmen, weergaven en hoe vaak het antwoord is gedeeld
- Link naar de post, titel van de post, tekst van de post, links naar media in de post, naam en link naar het profiel van de auteur, datum en tijd van publicatie, aantal stemmen, weergaven en hoe vaak er gedeeld is
- en andere gegevens, afhankelijk van het type resultaat
Mogelijkheden
- Keuze van het gewenste resultaattype of alles tegelijk scrapen
- Keuze van de tijdsperiode van de resultaten
Toepassingen
- Alle scenario's waarbij gegevens van Quora verkregen moeten worden
Query's
Als query's moeten trefwoorden worden opgegeven, bijvoorbeeld:
test
Uitvoerformaten van resultaten
A-Parser ondersteunt flexibele formattering van resultaten dankzij de ingebouwde sjabloon-engine Template Toolkit, waardoor resultaten in een vrije vorm kunnen worden uitgevoerd, evenals in gestructureerde formaten zoals CSV of JSON
Standaard uitvoer
Resultaatformaat:
$questions.format('$question\n')
Voorbeeld van resultaat:
What is the best free online IQ test?
What is software testing?
How reliable is the DNA testing offered by sites like Ancestry.com or 23andMe?
How can I pass a urine drug test for meth?
How do you know if you're really smart without taking an IQ test?
Which is the best test series for CAT?
How reliable are online IQ tests?
Is software testing a good career choice?
What is the best test series for the GATE examination?
What is the best way to get my IQ checked online?
...
Cookies verkrijgen
Verkrijgen van de verplichte optie voor autorisatie
Spoiler: hoe vind je de cookie?
- Ga naar quora.com, log in
- Open de Ontwikkelaarstools (F12) en vernieuw de pagina
- Ga naar het tabblad Network, zoek het verzoek naar quora.com
- Kopieer de volledige cookie-string
Volgens onze tests worden accounts niet geband (dit kan in de toekomst veranderen), maar bij gegevensextractie in meer dan 10 threads begint Quora fouten en meldingen over te veel verzoeken te geven. Daarom wordt aanbevolen om in een klein aantal threads te scrapen of cookies van meerdere accounts te gebruiken.
Mogelijke instellingen
| Parameter | Standaardwaarde | Beschrijving |
|---|---|---|
| Pages count | 5 | Aantal resultaatpagina's |
| Results type | Questions | Type resultaten |
| Results time | All time | Tijd van de resultaten |
| Cookie | Veld voor het opgeven van cookies van geautoriseerde accounts. U kunt cookies van meerdere accounts opgeven; de scraper zal er willekeurig een kiezen voor elke poging. |