SE::Quora - scraper de résultats Quora
Présentation du scraper
SE::Quora - scraper de résultats de recherche Quora.Collecte les résultats du service éponyme.
Vous pouvez utiliser la multiplication automatique des requêtes, la substitution de sous-requêtes à partir de fichiers, l'itération de combinaisons alphanumériques et de listes pour obtenir le maximum de résultats possible.
La fonctionnalité d'A-Parser permet de sauvegarder les paramètres de collecte du scraper SE::Quora pour une utilisation ultérieure (présélections), de définir un calendrier de collecte et bien plus encore.
La sauvegarde des résultats est possible dans le format et la structure dont vous avez besoin, grâce au puissant moteur de gabarits intégré Template Toolkit qui permet d'appliquer une logique supplémentaire aux résultats et d'exporter les données dans divers formats, y compris JSON, SQL et CSV.
Données collectées
Quora propose 6 types de résultats : Questions, Answers, Posts, Profiles, Topics et Spaces. Pour chaque type, l'ensemble des données diffère, c'est pourquoi dans le scraper, chaque type est enregistré dans son propre tableau distinct. Selon le type, sont collectés :
- Lien vers la question, texte de la question, nombre de réponses et date
- Auteur de la réponse, texte de la réponse, liens vers les médias dans la réponse, date et heure de la réponse, nombre de votes, de vues et de partages de la réponse
- Lien vers le post, titre du post, texte du post, liens vers les médias dans le post, nom et lien vers le profil de l'auteur, date et heure de publication, nombre de votes, de vues et de partages
- et d'autres données dépendant du type de résultat
Possibilités
- Choix du type de résultat souhaité ou collecte de tous les types simultanément
- Choix de la période des résultats
Cas d'utilisation
- Tous les scénarios nécessitant l'obtention de données de Quora
Requêtes
Vous devez indiquer des mots-clés comme requêtes, par exemple :
test
Variantes d'affichage des résultats
A-Parser prend en charge un formatage flexible des résultats grâce au moteur de gabarits intégré Template Toolkit, ce qui lui permet d'afficher les résultats sous une forme libre ou structurée, comme CSV ou JSON.
Affichage par défaut
Format du résultat :
$questions.format('$question\n')
Exemple de résultat :
What is the best free online IQ test?
What is software testing?
How reliable is the DNA testing offered by sites like Ancestry.com or 23andMe?
How can I pass a urine drug test for meth?
How do you know if you're really smart without taking an IQ test?
Which is the best test series for CAT?
How reliable are online IQ tests?
Is software testing a good career choice?
What is the best test series for the GATE examination?
What is the best way to get my IQ checked online?
...
Obtention des cookies
Obtention de l'option obligatoire pour l'authentification
Spoiler : comment trouver le cookie ?
- Allez sur quora.com, connectez-vous
- Ouvrez les Outils de développement (F12) et actualisez la page
- Allez dans l'onglet Network, trouvez la requête vers quora.com
- Copiez toute la chaîne de cookies
D'après nos tests, les comptes ne sont pas bannis (cela peut changer à l'avenir), mais lors d'une collecte avec plus de 10 threads, Quora commence à renvoyer des erreurs et des messages concernant un trop grand nombre de requêtes. Il est donc recommandé de collecter avec un petit nombre de threads ou d'utiliser des cookies provenant de plusieurs comptes.
Paramètres possibles
| Paramètre | Valeur par défaut | Description |
|---|---|---|
| Pages count | 5 | Nombre de pages de résultats |
| Results type | Questions | Type de résultats |
| Results time | All time | Période des résultats |
| Cookie | Champ pour indiquer les cookies des comptes authentifiés. Vous pouvez indiquer les cookies de plusieurs comptes, le scraper en choisira un au hasard pour chaque tentative. |