SE::Quora - Quora sökresultat scraper
Översikt av scrapern
SE::Quora - scraper för Quoras sökresultat.Samlar in resultat från tjänsten med samma namn.
Du kan använda automatisk multiplikation av frågor, ersättning av underfrågor från filer, generering av alfanumeriska kombinationer och listor för att få största möjliga mängd resultat.
Funktionaliteten i A-Parser gör det möjligt att spara inställningar för scrapern SE::Quora för framtida bruk (förinställningar), schemalägga dataskrapning och mycket mer.
Resultaten kan sparas i det format och den struktur du behöver, tack vare den inbyggda kraftfulla mallmotorn Template Toolkit som gör det möjligt att tillämpa extra logik på resultaten och exportera data i olika format, inklusive JSON, SQL och CSV.
Data som samlas in
Quora har 6 typer av resultat: Questions, Answers, Posts, Profiles, Topics och Spaces. Varje typ har olika datamängder, så i scrapern sparas varje typ i sin egen separata array. Beroende på typ samlas följande in:
- Länk till fråga, frågetext, antal svar och datum
- Svarsförfattare, svarstext, länkar till media i svaret, datum och tid för svaret, antal röster, visningar och hur många gånger svaret delats
- Länk till inlägg, inläggstitel, inläggstext, länkar till media i inlägget, namn och länk till författarens profil, datum och tid för publicering, antal röster, visningar och hur många gånger det delats
- och andra data beroende på resultattyp
Funktioner
- Val av önskad resultattyp eller dataskrapning av alla samtidigt
- Val av tidsintervall för resultaten
Användningsfall
- Alla scenarier där man behöver hämta data från Quora
Frågor
Som frågor bör sökord anges, till exempel:
test
Exempel på utdata
A-Parser stöder flexibel formatering av resultat tack vare den inbyggda mallmotorn Template Toolkit, vilket gör det möjligt att visa resultat i valfri form, samt i strukturerad form som CSV eller JSON
Standardutdata
Resultatformat:
$questions.format('$question\n')
Exempel på resultat:
What is the best free online IQ test?
What is software testing?
How reliable is the DNA testing offered by sites like Ancestry.com or 23andMe?
How can I pass a urine drug test for meth?
How do you know if you're really smart without taking an IQ test?
Which is the best test series for CAT?
How reliable are online IQ tests?
Is software testing a good career choice?
What is the best test series for the GATE examination?
What is the best way to get my IQ checked online?
...
Hämta cookies
Hämta obligatoriskt alternativ för auktorisering
Spoiler: hur hittar man cookies?
- Gå till quora.com, logga in
- Öppna Utvecklarverktyg (F12) och uppdatera sidan
- Gå till fliken Network, hitta anropet till quora.com
- Kopiera hela cookie-strängen
Enligt våra tester blir konton inte bannlysta (detta kan ändras i framtiden), men vid dataskrapning i mer än 10 trådar börjar Quora ge felmeddelanden om för många förfrågningar. Därför rekommenderas det att skrapa i ett litet antal trådar eller använda cookies från flera konton.
Möjliga inställningar
| Parameter | Standardvärde | Beskrivning |
|---|---|---|
| Pages count | 5 | Antal resultatsidor |
| Results type | Questions | Typ av resultat |
| Results time | All time | Tid för resultat |
| Cookie | Fält för att ange cookies från auktoriserade konton. Man kan ange cookies från flera konton, scrapern väljer slumpmässigt mellan dem för varje försök. |