Passer au contenu principal

Plusieurs scrapers dans une seule tâche

Fonctionnalités​

A-Parser prend en charge le traitement des requêtes par plusieurs scrapers simultanément, ce qui permet de :

  • Parser les résultats de plusieurs moteurs de recherche à la fois
  • Analyser des domaines selon de nombreux paramètres
  • Collecter simultanément des mots-clés à partir des suggestions de différents moteurs de recherche et de Yandex.Wordstat
  • Collecter les informations Whois et DNS pour les domaines
  • De nombreuses autres options d'utilisation

Ajouter un scraper​

Pour ajouter un nouveau scraper, il suffit de cliquer sur le bouton Add Parser (Ajouter un scraper) dans l'Éditeur de tâches :

Bouton Ajouter un scraper dans l'éditeur de tâches

Chaque scraper est numéroté, les résultats de chaque scraper dans le constructeur de résultats et lors du formatage des résultats sont accessibles via des raccourcis :

$p1, $p2... - où le chiffre indique le numéro du scraper.

Dans le format de résultat général, les résultats de chaque scraper sont affichés séquentiellement par défaut, dans le format indiqué dans les paramètres de chaque scraper

L'utilisation de plusieurs scrapers dans une même tâche augmente la vitesse globale de collecte de données car le nombre de requêtes simultanées vers un seul scraper diminue, ce qui réduit la fréquence de bannissement des proxies ou l'affichage de captchas.

Chaque scraper traite la requête initiale ou sa variation lors de l'utilisation du constructeur de requêtes, et possède son propre format de requête dans les paramètres ; cependant, il n'est pas possible de transmettre les résultats d'un scraper précédent comme requêtes pour le scraper suivant (cette fonctionnalité est prévue pour le futur).

Exemple d'analyse de domaines​

Exemple d'analyse de domaines

Dans cet exemple, nous utilisons comme requêtes une liste de domaines qui vont bientôt expirer (redevenir disponibles à l'enregistrement). Nous souhaitons sélectionner les domaines avec de bons paramètres, pour cela nous avons utilisé six scrapers différents :

  • SE::GoogleSE::Google - requête dans Google au format site:$query, permet de connaître le nombre de pages indexées
  • Rank::BingAnalyticsRank::BingAnalytics - permet de connaître le classement mondial du domaine
  • SE::GoogleSE::Google - requête dans Google au format "$query", permet de connaître le nombre de mentions du domaine
  • SE::Google::TrustCheckSE::Google::TrustCheck - permet de savoir à quel point Google fait confiance au site
  • SE::Google::SafeBrowsingSE::Google::SafeBrowsing - permet de savoir si le site est marqué comme dangereux
  • Rank::AhrefsRank::Ahrefs - permet de connaître le nombre de backlinks pointant vers le domaine via le service Ahrefs

Dans le format des résultats, nous affichons la requête initiale (le domaine) et les résultats de chaque scraper, dans l'ordre souhaité :

$query, $p1.totalcount, $p2.globalRank, $p3.totalcount, $p4.trustrank, $p5.exists, $p6.bl\n
Télécharger l'exemple

Comment importer un exemple dans A-Parser

eJy1Vd1v2zYQ/1cMIg/bYKhxuvZBb47X7ANZ7dnOU1wEjHSSWVMkS1J2PCP/++5I
yrLTFOiADXrR8b5+v7vj8cA8dxs3s+DAO5bfH5gJ/yxnY8Xl/m8Y/KIbLpQbXGWX
bMgMtw4smd6zxYc8/1XrWgIqZrwGN5joVvlB62Aws/ppz4YH5vcGMJzegrWiJFNR
ovylBbuvtG24x6Mtly1ZOeEhvwg69vxpeM/mXG3y/FqoOuDxonBoXkLFW+kZWfwP
KFYsQlixCKJPkedL2zo/WUOxOcHxbxOsvTf5mzenRE9zLHgF11bvHNL+b7PEco7X
Fir3XZHvvJAPy9Yqhz/wkKajzzFW2BJufLHmmOHTkKEBRnQ3EUyeKjkcXJhR5rXn
sqDmkHyV1VI/ckmYSH77Qv9z5qnWNqnfZfAknHf0/z57lKuVYsd0C76FpcZ0lQhz
0KFA6SNvCOhFyT2QNot1+uHHzD8RE16WwguN0xUx02z3PO6U+BKIKo22xEWAu7G6
wSMPIUAg2PG9T4RxNFkbfP+KPiyvuHQwZA6h3nAEUr7U4Oxb7rWdGsKD5wem1VjK
W9iC7M1C/OtWyBIv4rhCp9+T4+sm069iPB/pnabCzu8sYjhGCdL19M/eq9S3uu6K
IUUjPMouXDc8pf2wATDHmn0ks0ZbOKZJkVN23DsGFI1Z37Kx6Y/OaJy15fyw0KoS
9TSNbmfZqiUut6ma6MZIIF6qlRLb4mDej8fYpTaQ0AN86TwJKRDW8cowr7V0fywi
VGMFjt87AthgJU+zppAFl/JufnuqIUfntZmqD9a+aF8YDMblVjjdZIVuVoo3Da9l
/C/WAmsT/7EQvNzFf5Ca21KrJDnP7b7mUfrcqoIWaJSkrrGBLukaTphsFJCLg1Ik
lRO1Es6kZG6jpeEqSbu1qCVXZZT2equtXycojDh7qDXeBuwI7p/u9Ti+N4fT7Y3S
6+sbFacLrtsp3WuktK/QA2dmROWfxG00Rzahhm+HrJapSRi+SMM6Ck3D8GGXAxaf
/YRHazIFwl6Gdw+l3W6X1QEi8aLGiwZ0i0HeXw7jgpx3Wa8eju9nPyjIxEQiCFBV
BnOhIy4PyyOROAhgDUWOktRYO7wzUcII+Ll4h0aETfkl38AiHoZ4uNs80RjRzVQb
ZzAe8iWql3HN/QY83pkuXTe6iM125YrWFhCZ8yVIvg/RS9iKAgItt8GR7fweuVJQ
FhK4ag1VhJCEPsWbeuxWPrjo13u3u1PVZty51Gp0l9QL9ozr5rXHPz+g4hsP8le6
s4c0aM8eQDzBo89uFseSNkBKgKskFnb0/A8Hayy4

⏩ Exemple vidéo de création d'une présélection avec plusieurs scrapers​

Dans ce tutoriel vidéo, nous examinons comment créer une présélection pour la collecte de domaines thématiques par mot-clé à partir des résultats de recherche Google, et l'obtention de divers paramètres pour ces domaines.

Le tutoriel couvre :

  • La collecte des résultats de recherche Google
  • L'affichage des résultats uniques en tant que domaines principaux
  • L'obtention de paramètres tels que :
    • si le domaine est enregistré ou non
    • la date d'enregistrement et la date d'expiration du domaine
    • la langue du site
    • le title et la description
    • l'indice de qualité du site
    • la position dans le classement mondial Alexa
    • le pays avec le plus grand volume de trafic selon Alexa
    • la position dans le classement de ce pays selon Alexa