Passer au contenu principal

SE::Google::KeywordPlanner::SearchVolume - évaluation du volume de recherche et d'autres indicateurs de mots-clés depuis Google Keyword Planner

Mots-clés sauvegardés dans Keyword Planner

Présentation du scraper​

SE::Google::KeywordPlanner::SearchVolumeSE::Google::KeywordPlanner::SearchVolume – scraper pour évaluer les volumes de recherche des mots-clés avec Google Keyword Planner. De nombreuses données sont disponibles : nombre moyen de recherches mensuelles, variations trimestrielles et annuelles des volumes, enchères minimales et maximales, niveau de concurrence. Dans les paramètres de collecte de données, vous pouvez spécifier la langue, la localisation, le réseau publicitaire et la période de sélection des données. Un mode par lots est également disponible, permettant d'obtenir des données pour 10 000 mots-clés en une seule requête au service, accélérant ainsi considérablement la collecte de données.

Grâce au traitement multithread d'A-Parser combiné au mode par paquets, la vitesse de traitement des requêtes peut atteindre plusieurs dizaines de milliers de requêtes par minute.

La fonctionnalité d'A-Parser permet de sauvegarder les paramètres de collecte de données du scraper SE::Google::KeywordPlanner::SearchVolume pour une utilisation ultérieure (présélections), de définir un calendrier de collecte et bien plus encore.

La sauvegarde des résultats est possible dans la forme et la structure dont vous avez besoin, grâce au puissant moteur de gabarits intégré Template Toolkit qui permet d'appliquer une logique supplémentaire aux résultats et d'exporter les données dans divers formats, notamment JSON, SQL et CSV.

Données collectées​

  • Nombre moyen de requêtes par mois pour le mot-clé recherché
  • Variation trimestrielle
  • Variation annuelle
  • Niveau de concurrence
  • Enchères minimales et maximales
  • Tendances des volumes de recherche pour la période sélectionnée
    • Mois et année
    • Nombre total de requêtes
    • Nombre de requêtes provenant uniquement d'appareils mobiles (non disponible en mode par paquets)

Fonctionnalités​

  • Prise en charge de l'authentification par identifiant-mot de passe ou par substitution de cookies et d'en-têtes
  • Définition du degré de précision de $volume - valeur exacte/arrondie
  • Le mode par paquets est pris en charge et activé par défaut
  • Prise en charge du multi-compte (pour choisir le bon compte, son ocid(uscid) doit impérativement être spécifié)

Cas d'utilisation​

  • Collecte du nombre moyen de requêtes par mois, des enchères minimales et maximales, évaluation de la concurrence
  • Analyse des tendances

Configuration​

Il existe deux options pour configurer le scraper :

  • indiquer l'e-mail\mot de passe du compte Keyword Planner
  • s'authentifier dans le navigateur et copier les valeurs nécessaires
avertissement

Soyez prudent avec le nombre de threads. Il est recommandé d'indiquer un petit nombre de threads, la collecte de données sans proxy étant tout à fait possible.

Authentification par e-mail et mot de passe​

Vous devez redéfinir les options E-mail et Password en indiquant les données de votre compte Keyword Planner. Une campagne doit obligatoirement être créée sur le compte.

Spoiler : (Solution) Login failed TypeError: Cannot read property '1' of null

En cas d'apparition de cette erreur, vous devez supprimer votre compte Google du navigateur et vous reconnecter.

solution erreur authentification

Authentification dans le navigateur et substitution des en-têtes dans le scraper​

Il est nécessaire de s'authentifier dans le navigateur via le lien https://ads.google.com/aw/keywordplanner/home, de créer une première campagne si ce n'est pas déjà fait, de récupérer les données suivantes et de les indiquer dans les paramètres du scraper :

Les cookies peuvent être indiqués de deux manières :

  • Indiquer tous les cookies dans l'option All cookies
  • Indiquer les valeurs des cookies pour les options __Secure-3PSID, __Secure-3PSIDTS (__Secure-3PSIDTS doit être indiqué si authuser sur le compte est égal à 0)

Autres en-têtes :

  • Valeur de l'en-tête x-framework-xsrf-token
  • Valeur du paramètre ocid ou uscid de l'URL
  • Valeur du paramètre authuser de l'URL
Spoiler : Comment trouver les paramètres nécessaires

où chercher les paramètres pour l'authentification 1

où chercher les paramètres pour l'authentification 1

Requêtes​

Comme requêtes, vous devez indiquer des mots-clés, un mot-clé par ligne. Exemple de requêtes :

coca-cola
parsing
peace
starlink
test

Le mode par paquets est pris en charge, il est activé par l'option Bulk (packet) mode. Dans ce mode, le scraper enverra des paquets de 10 000 mots-clés lors de la requête au service. Dans ce mode, les données sur le nombre de requêtes mobiles ($trends.$i.mobile) ne sont pas collectées. Le mode par paquets est activé par défaut.

Substitutions de requêtes​

Vous pouvez utiliser les macros intégrées pour la substitution automatique de sous-requêtes à partir de fichiers. Par exemple, nous voulons ajouter à chaque requête une liste d'autres mots, indiquons quelques requêtes de base :

fantasy
tower defense
rpg

Dans le format de requête, indiquons la macro de substitution de mots supplémentaires à partir du fichier keywords.txt, cette méthode permet d'augmenter considérablement la variabilité des requêtes :

{subs:keywords} $query

Cette macro créera autant de requêtes supplémentaires qu'il y en a dans le fichier pour chaque requête de recherche initiale, ce qui donnera au total [nombre de requêtes initiales] x [nombre de requêtes dans le fichier Keywords] = [nombre total de requêtes] suite au travail de la macro.

Par exemple, si le fichier keywords.txt contient : 

free
online

Au final, la macro de substitution transformera 3 requêtes de base en 6 :

free fantasy
online fantasy
free tower defense
online tower defense
free rpg
online rpg

Variantes d'affichage des résultats​

A-Parser prend en charge un formatage flexible des résultats grâce au moteur de gabarits intégré Template Toolkit, ce qui lui permet d'afficher les résultats sous une forme libre, ainsi que structurée, par exemple CSV ou JSON

Affichage par défaut​

Format du résultat :

$query: $volume\n

Exemple de résultat avec l'affichage du mot-clé et de son nombre moyen de requêtes par mois :

coca-cola: 3350000
parsing: 165000
peace: 673000
starlink: 1830000
test: 7480000

Affichage dans un tableau CSV​

Format général du résultat :

[% tools.CSVline(query, p1.volume, p1.min_bid, p1.max_bid) %]

Nom du fichier :

$datefile.format().csv

Texte initial :

Keyword,Volume,"Min bid","Max bid"

astuce

Dans le Format général des résultats, on utilise le moteur de gabarits Template Toolkit et l'outil tools.CSVline pour l'affichage des données.

Dans le nom du fichier de résultats, il suffit de changer l'extension du fichier en csv.

Pour que l'option "Texte initial" soit disponible dans l'Éditeur de tâches, vous devez activer "Plus d'options". Dans "Texte initial", nous inscrivons les noms des colonnes séparés par des virgules et nous laissons la deuxième ligne vide.

Sauvegarde au format SQL​

Format du résultat :

[% "INSERT INTO volumes VALUES('" _ query _ "', '" _ volume _ "')\n" %]

Exemple de résultat :

INSERT INTO volumes VALUES('parfum', '50000')
INSERT INTO volumes VALUES('eyfel perfume', '5000')
INSERT INTO volumes VALUES('memo marfa', '5000')

Dump des résultats en JSON​

Format de sortie general:

[% IF notFirst;
  ",\n";
ELSE;
  notFirst = 1;
END;

obj = {};
obj.keyword = query;
obj.volume = p1.volume;

obj.json %]

Texte initial:

[

Texte final:

]

Exemple de résultat :

[{"keyword":"parfum","volume":"50000"},
{"keyword":"eyfel perfume","volume":"5000"},
{"keyword":"memo marfa","volume":"5000"}]
astuce

Plus de détails sur l'affichage des résultats en JSON sont décrits dans cet article.

Paramètres possibles​

note

Paramètres communs pour tous les scrapers

ParamètreValeur par défautDescription
All cookiesSpécification de tous les cookies
Cookie "__Secure-3PSID"Cookie "__Secure-3PSID"
Cookie "__Secure-3PSIDTS"Cookie "__Secure-3PSIDTS"
Header "x-framework-xsrf-token"En-tête "x-framework-xsrf-token"
Url parameter "ocid"("uscid")Paramètre "ocid"("uscid")
Url parameter "authuser"0Paramètre "authuser"
E-mailE-mail pour l'authentification dans Keyword Planner
PasswordMot de passe pour l'authentification dans Keyword Planner
Recovery e-mailE-mail pour la récupération d'accès
Browser headless (debug auth)☑Mode headless pour le navigateur utilisé pour l'authentification par identifiant-mot de passe
Log Login Screenshot (debug auth)☐Création d'une capture d'écran de la page d'authentification et affichage dans le log de la tâche
Date fromLast 12 monthsDate de début
Date toLast 12 monthsDate de fin
LanguageEnglishLangue
Search networksGoogleRéseau de recherche
Location codeEmplacement (ici, vous devez indiquer l'ID de l'emplacement, vous pouvez le récupérer dans la première colonne de ce tableau (copie))
Delete created plan☑Supprimer le plan créé
Bulk (packet) mode☑Activation du mode par paquets