SE::Google::Trends - Scraper de mots-clés en tendance selon Google
Présentation du scraper
Scraper de requêtes de recherche Google Trends. Le scraper Google Trends peut obtenir automatiquement la liste de toutes les catégories auxquelles appartient une requête, ainsi que la liste des intérêts par région et par période.
Vous pouvez utiliser la multiplication automatique des requêtes, la substitution de sous-requêtes à partir de fichiers, l'itération de combinaisons alphanumériques et de listes pour obtenir le maximum de résultats possible. En utilisant le filtrage des résultats, vous pouvez immédiatement nettoyer le résultat en supprimant tous les éléments inutiles (en utilisant des mots-clés négatifs).
La fonctionnalité d'A-Parser permet de sauvegarder les paramètres de collecte de données du scraper SE::Google::Trends pour une utilisation ultérieure (présélections), de définir un calendrier de collecte et bien plus encore.
La sauvegarde des résultats est possible dans le format et la structure dont vous avez besoin, grâce au puissant moteur de gabarits intégré Template Toolkit qui permet d'appliquer une logique supplémentaire aux résultats et d'afficher les données dans divers formats, y compris JSON, SQL et CSV.
Cas d'utilisation du scraper
🔗 Formatage de la date
Une méthode pour la convertir en un format plus facile à lire
Données collectées
- Liste de toutes les catégories auxquelles appartient la requête, au format (requête, catégorie, pourcentage de popularité)
- Liste des intérêts par période au format : moment de l'intérêt (format unix), pourcentage de popularité
- Liste des intérêts par région au format : région, pourcentage de popularité
- Liste des requêtes associées principales (leaders)
- Liste des requêtes associées en progression (en tendance)
Possibilités
- Possibilité de comparer les données pour plusieurs mots-clés, pour cela il faut les énumérer séparés par une virgule
- Possibilité de choisir le pays pour évaluer le mot-clé
- Choix de la période pour l'affichage des résultats
- Choix de la propriété pour la collecte (Web Search, Image Search, News Search, etc.)
- Choix de la catégorie Google Trends (vous pouvez connaître la liste des catégories en utilisant le scraper JS::GoogleTrendsCat)
- Possibilité d'indiquer une plage de dates personnalisée
- Recherche par catégorie
Cas d'utilisation
- Évaluation du volume de trafic par mot-clé
- Recherche de nouveaux mots-clés sur une thématique similaire
- Pour définir des dates personnalisées, vous devez sélectionner Custom time dans Search time et indiquer la plage de dates au format YYYY-MM-DD YYYY-MM-DD dans Custom time range
- La recherche par catégorie ignore la requête soumise au scraper (option Use empty queries(ignore query value))
Spoiler : Exemple
Requêtes
Comme requêtes, il est nécessaire d'indiquer des mots-clés, exactement comme s'ils étaient saisis directement dans le formulaire de recherche Google, par exemple :
write essay
Football
Waterfall
Speak in english
Cats and dogs
forex
cheap essay
Substitutions de requêtes
Vous pouvez utiliser les macros intégrées pour la substitution automatique de sous-requêtes à partir de fichiers, par exemple si nous voulons ajouter une liste d'autres mots à chaque requête, indiquons quelques requêtes de base :
essay
article
thesis
Dans le format des requêtes, indiquons la macro de substitution de mots supplémentaires à partir du fichier Keywords.txt, cette méthode permet d'augmenter considérablement la variété des requêtes :
{subs:Keywords} $query
Cette macro créera autant de requêtes supplémentaires qu'il y en a dans le fichier pour chaque requête de recherche initiale, ce qui donnera au total [nombre de requêtes initiales (domaines)] x [nombre de requêtes dans le fichier Keywords] = [nombre total de requêtes] suite au travail de la macro.
Par exemple, si le fichier Keywords.txt contient :
buy
cheap
Au final, la macro de substitution transformera 3 requêtes de base en 6 :
buy essay
cheap essay
buy article
cheap article
buy thesis
cheap thesis
Variantes d'affichage des résultats
A-Parser supporte un formatage flexible des résultats grâce au moteur de gabarits intégré Template Toolkit, ce qui lui permet d'afficher les résultats sous une forme libre ou structurée, comme CSV ou JSON
Export de la liste des requêtes associées en progression
Export de la liste des requêtes associées en progression au format : requête initiale, mot-clé associé, popularité.
Format du résultat :
$query:\n$related_queries_rising.format('$key,$rquery,$interest\n')
Exemple de résultat :
write essay:
write essay,write my essay 4 me,6550
write essay,write essay on globalization and 21st century,1450
write essay,grammarly,1100
write essay,how to write a hook for an argumentative essay,1000
write essay,write my essay for me cheap,1000
write essay,pay someone to write my essay,550
write essay,write that essay login,550
write essay,write my essay cheap,500
write essay,google docs,350
write essay,docs,300
write essay,how to write an argumentative essay step by step,250
write essay,someone write my essay,200
write essay,how long does it take to write a 1000 word essay,200
write essay,how long does it take to write a 2000 word essay,200
write essay,how to write a synthesis essay ap lang,200
write essay,pay to write essay,190
write essay,write essay on my school,180
write essay,how to write essay in hindi,170
write essay,write an essay on my school,170
write essay,help me write an essay,150
write essay,write my essay for me,130
write essay,help me write my essay,120
write essay,write my paper for me,120
write essay,how to write a hook for a persuasive essay,110
write essay,write essay for me,100
Affichage de la liste des requêtes associées dans un tableau CSV
L'utilitaire intégré $tools.CSVLine permet de créer des documents tabulaires corrects, prêts pour l'importation dans Excel ou Google Sheets.
Format général du résultat :
[% FOREACH i IN p1.related_queries_rising;
tools.CSVline(i.key, i.rquery, i.interest);
END %]
Nom du fichier :
$datefile.format().csv
Texte initial :
Requête initiale,Mot-clé associé,Popularité
Dans le Format général des résultats, le moteur de gabarits Template Toolkit est utilisé pour afficher le tableau $related_queries_rising dans une boucle FOREACH.
Dans le nom du fichier de résultats, il suffit de changer l'extension du fichier en csv.
Pour que l'option "Texte initial" soit disponible dans l'Éditeur de tâches, il faut activer "Plus d'options". Dans "Texte initial", nous inscrivons les noms des colonnes séparés par une virgule et nous laissons la deuxième ligne vide.
Sauvegarde au format SQL
Format du résultat :
[% FOREACH related_queries_rising; "INSERT INTO serp VALUES('" _ key _ "', '"; rquery _ "', '"; interest _ "')\n"; END %]
Exemple de résultat :
INSERT INTO serp VALUES('write essay', 'write my essay 4 me', '6550')
INSERT INTO serp VALUES('write essay', 'write essay on globalization and 21st century', '1450')
INSERT INTO serp VALUES('write essay', 'grammarly', '1100')
INSERT INTO serp VALUES('write essay', 'how to write a hook for an argumentative essay', '1000')
INSERT INTO serp VALUES('write essay', 'write my essay for me cheap', '1000')
INSERT INTO serp VALUES('write essay', 'pay someone to write my essay', '550')
INSERT INTO serp VALUES('write essay', 'write that essay login', '550')
INSERT INTO serp VALUES('write essay', 'write my essay cheap', '500')
INSERT INTO serp VALUES('write essay', 'google docs', '350')
INSERT INTO serp VALUES('write essay', 'docs', '300')
INSERT INTO serp VALUES('write essay', 'how to write an argumentative essay step by step', '250')
INSERT INTO serp VALUES('write essay', 'someone write my essay', '200')
INSERT INTO serp VALUES('write essay', 'how long does it take to write a 1000 word essay', '200')
INSERT INTO serp VALUES('write essay', 'how long does it take to write a 2000 word essay', '200')
INSERT INTO serp VALUES('write essay', 'how to write a synthesis essay ap lang', '200')
INSERT INTO serp VALUES('write essay', 'pay to write essay', '190')
INSERT INTO serp VALUES('write essay', 'write essay on my school', '180')
INSERT INTO serp VALUES('write essay', 'how to write essay in hindi', '170')
INSERT INTO serp VALUES('write essay', 'write an essay on my school', '170')
INSERT INTO serp VALUES('write essay', 'help me write an essay', '150')
INSERT INTO serp VALUES('write essay', 'write my essay for me', '130')
INSERT INTO serp VALUES('write essay', 'help me write my essay', '120')
INSERT INTO serp VALUES('write essay', 'write my paper for me', '120')
INSERT INTO serp VALUES('write essay', 'how to write a hook for a persuasive essay', '110')
INSERT INTO serp VALUES('write essay', 'write essay for me', '100')
...
Dump des résultats en JSON
Format du résultat :
[% IF notFirst;
",\n";
ELSE;
notFirst = 1;
END;
obj = {};
obj.related_queries_rising.key = [];
obj.related_queries_rising.rquery = [];
obj.related_queries_rising.interest = [];
FOREACH item IN p1.related_queries_rising;
obj.related_queries_rising.key.push(item.key);
obj.related_queries_rising.rquery.push(item.key);
obj.related_queries_rising.interest.push(item.key);
END;
obj.json %]
Texte initial :
[
Texte final :
]
Exemple de résultat :
[{"related_queries_rising":{"rquery":["write my essay 4 me","write essay on globalization and 21st century","grammarly","how to write a hook for an argumentative essay","write my essay for me cheap","pay someone to write my essay","write that essay login","write my essay cheap","google docs","docs","how to write an argumentative essay step by step","someone write my essay","how long does it take to write a 1000 word essay","how long does it take to write a 2000 word essay","how to write a synthesis essay ap lang","pay to write essay","write essay on my school","how to write essay in hindi","write an essay on my school","help me write an essay","write my essay for me","help me write my essay","write my paper for me","how to write a hook for a persuasive essay","write essay for me"],"interest":[6550,1450,1100,1000,1000,550,550,500,350,300,250,200,200,200,200,190,180,170,170,150,130,120,120,110,100],"key":["write essay","write essay","write essay","write essay","write essay","write essay","write essay","write essay","write essay","write essay","write essay","write essay","write essay","write essay","write essay","write essay","write essay","write essay","write essay","write essay","write essay","write essay","write essay","write essay","write essay"]}}]
Pour que les options "Texte initial" et "Texte final" soient disponibles dans l'Éditeur de tâches, il faut activer "Plus d'options".
Traitement des résultats
A-Parser permet de traiter les résultats directement pendant la collecte, dans cette section nous avons présenté les cas les plus populaires pour le scraper SE::Google::Trends
Utilisation d'une date personnalisée
Pour définir des dates personnalisées, vous devez sélectionner Custom time dans Search time et indiquer la plage de dates au format YYYY-MM-DD YYYY-MM-DD dans Custom time range.
Télécharger l'exemple
Comment importer l'exemple dans A-Parser
eJx1U1GP2jAM/iuVxcNN4hDctJe+cWhMm9j1dsATQqeIuCy7NMmSlA1V/e9z0tIC
46RKjZ3vsz/HdgWeuTf3bNGhd5BuKjDxDCksP6fpF633EtN0ZVFxl9wna4fJrnRe
FwlnHmEIhlmHNnA3NygE4JizUnoYVuCPBimyPqC1gge24GQ7ZHb389WLIrgOTJYB
1aSB+n1eg7jmPYwfxvfjCX0JHen/kY5Qb7dDoNJIiZtrW7BQ4sBMRm293eWSHXCl
6TIXEnv3nKwnVoQEg1B5uB3lMdDdh5H/GyIwzoUXWjHZZAiP0mddK/E7ClSasHS0
At3cUokpeIwBgvN4UreBQbSBQpSR+6PhQJoz6XAIjqTOGQnh1zfCo2Ve28wEPeSv
QKuplAs8oOxhMf5jKSSnDk5zIn1tibch2X8x6q6881TUpz+WNHRRovWYfe9ZXC/0
/vQYUhTCk+1mulShMWNyviGa7s2eAqzQFrs0beQ2O02woXkjZN+yqeldF2VctOXS
udMqF/usHbQTslQrWpNMzXRhJIa6VCkltcXhSz8eU9e2IRi9wGvyLKYgWd1igNda
um/LRqqxgsbvUxBY0EueZ21D7piU65fF+Q30I0VGfO4EnWNHCHCPe02DRMXU225j
u6Wvbu1tWtXUpV/uuQGHkqKT9oxMagGkk/ofqyh6IQ==
Filtrage des résultats
Exemple d'exportation de la liste des requêtes associées en progression dont la popularité est inférieure à une valeur donnée.
Télécharger l'exemple
Comment importer l'exemple dans A-Parser
eJxtVMFu2zAM/ZVACNAVcIP20IsPA9JgKTpkddekpzQohIoOtMiSK8pZA8P/PkqW
7aTLzaRIvsdH0jVzHHf4ZAHBIUvXNSvDN0vZ8kea3huzVZCmKwta4OhqNJfKgR3B
Jy9KBSxhJbcI1qeuz2RQgICcV8qxpGbuUAIVNnuwVgqfLQXZubEFdwQbwtieq8qH
jT8qsIf09VWPLSjuQLx5jwR8sxKl3k7axG8X4x0ckrEN8clYamII6Cjx4pI1A24e
uBNChErX7HxhTywWYZsk5q3aIt+PGN5eX5NlSieNJhNBI2s2mw4A54Gfb6W8mURd
+8cl38PKtLRgcJPA8MiLIIAgbv61a/Ry4j59BS6E9JhctQhe/QH1RcuPQE8bio2d
za0pyOUgFAhKdezWUWnfahVyf7c5LM25QkgYEtU5JyLi64skYbgzNgsakL9mRk+V
WsAe1BAW6t9VUglalWlOSQ8x8XxI9l+Npm/vGIoW6a8lDn2VYN1lv4YsYRZm24mh
ZCEd2TgzlfaD8fPbAZS9Zo8+rDAWephYOaLTpZS02BQ5jGxaDq6TNk7Gcup8NzqX
2yxeQhdZ6RWdY6Znxl+X70tXStFYEJ6H9ZhiHIM3BoJfk2cBgmj1F8icMQp/Lluq
pZW0freeYEFKHqPGku9cqZfnxfELG1aKjCD3CBD5gflwB1tDi0TNNJv+19D/XOpz
P4i0bmhKf/CpDfYtBSddGZnhsG6af/TaovA=
Voir aussi : Filtres de résultats
Paramètres possibles
| Nom du paramètre | Valeur par défaut | Description |
|---|---|---|
| Search region | Worldwide | Choix de la région |
| Language | English | Choix de la langue |
| Search time | Default(Past 5 years) | Choix de la période pour l'affichage des résultats |
| Custom time range | Chaîne vide | Saisie d'une plage de dates personnalisée quand Search time = Custom time (format YYYY-MM-DD YYYY-MM-DD) |
| Search category id | 0 | Choix de la catégorie |
| Search property | Default(Web Search) | Choix de la propriété pour la collecte (Web Search / Image Search / News Search / Google Shopping / YouTube Search) |
| Use empty queries(ignore query value) | ☐ | Ignore la valeur de la requête soumise au scraper et effectue une recherche par catégorie |