SE::AOL::Suggest - Scraper de suggestions de recherche AOL
Présentation du scraper
Scraper de suggestions de recherche par mots-clés dans AOL. Grâce au scraper SE::AOL::Suggest, vous pourrez collecter automatiquement des bases de mots-clés à partir des suggestions du moteur de recherche AOL sur demande. En utilisant le scraper SE::AOL::Suggest, il est possible de collecter facilement et rapidement les suggestions AOL par requête.
Grâce au traitement multithread d'A-Parser, la vitesse de traitement des requêtes peut atteindre 4700 requêtes par minute, ce qui permet en moyenne d'obtenir de 13500-14500 résultats par minute.
Vous pouvez utiliser la multiplication automatique des requêtes, la substitution de sous-requêtes à partir de fichiers, l'énumération de combinaisons alphanumériques et de listes pour obtenir le maximum de résultats possible. En utilisant le filtrage des résultats, vous pouvez immédiatement nettoyer le résultat en supprimant tous les déchets inutiles (en utilisant des mots-clés négatifs).
La fonctionnalité d'A-Parser permet de sauvegarder les paramètres de collecte de données du scraper SE::AOL::Suggest pour une utilisation ultérieure (présélections), de définir un calendrier de collecte et bien plus encore.
La sauvegarde des résultats est possible dans la forme et la structure dont vous avez besoin, grâce au puissant moteur de gabarit intégré Template Toolkit qui permet d'appliquer une logique supplémentaire aux résultats et d'afficher les données dans divers formats, y compris JSON, SQL et CSV.
Données collectées
- Nombre de résultats par requête
- Suggestions pour la requête
Fonctionnalités
- Prise en charge de tous les opérateurs de recherche AOL (site:, etc.)
- Collecte le nombre maximal de résultats fournis par AOL - 100 pages de 20 éléments par page
Cas d'utilisation
- Collecte de bases de mots-clés
Requêtes
En tant que requêtes, il est nécessaire d'indiquer des expressions de recherche, par exemple :
write essay
Football
Speak in english
forex
cheap essay
Substitutions de requêtes
Vous pouvez utiliser les macros intégrées pour la substitution automatique de sous-requêtes à partir de fichiers, par exemple si nous voulons ajouter à chaque requête une liste d'autres mots, indiquons quelques requêtes de base :
essay
article
thesis
Dans le format des requêtes, indiquons la macro de substitution de mots supplémentaires à partir du fichier Keywords.txt, cette méthode permet d'augmenter considérablement la variabilité des requêtes :
{subs:Keywords} $query
Cette macro créera autant de requêtes supplémentaires qu'il y en a dans le fichier pour chaque requête de recherche initiale, ce qui donnera au total [nombre de requêtes initiales (domaines)] x [nombre de requêtes dans le fichier Keywords] = [nombre total de requêtes] à la suite du travail de la macro.
Par exemple, si le fichier Keywords.txt contient :
buy
cheap
Au final, la macro de substitution transformera 3 requêtes de base en 6 :
buy essay
cheap essay
buy article
cheap article
buy thesis
cheap thesis
Exemples de formats de sortie
A-Parser prend en charge un formatage flexible des résultats grâce au moteur de gabarit intégré Template Toolkit, ce qui lui permet d'afficher les résultats sous une forme libre, ainsi que structurée, par exemple CSV ou JSON
Exportation de la liste des suggestions
Identique à SE::Google::Suggest.
Affichage dans un tableau CSV
Identique à SE::Google::Suggest.
Sauvegarde au format SQL
Format du résultat :
[% FOREACH results;
"INSERT INTO serp VALUES('" _ query _ "', '"; suggest _ "')\n";
END %]
Exemple de résultat :
INSERT INTO serp VALUES('write essay', 'write essay for me')
INSERT INTO serp VALUES('write essay', 'write essay')
INSERT INTO serp VALUES('write essay', 'write essay online')
INSERT INTO serp VALUES('write essay', 'write essay for you')
INSERT INTO serp VALUES('write essay', 'write essay free')
INSERT INTO serp VALUES('write essay', 'write essay conclusion')
INSERT INTO serp VALUES('write essay', 'write essay today')
INSERT INTO serp VALUES('write essay', 'write essays for money')
...
Dump des résultats en JSON
Identique à SE::Google::Suggest.
Traitement des résultats
A-Parser permet de traiter les résultats directement pendant la collecte de données, dans cette section nous avons listé les cas les plus populaires pour le scraper SE::AOL::Suggest
Option Parser jusqu'au niveau (Parse to level)
Identique à SE::Google::Suggest.
Filtrage des résultats (utilisation de mots-clés négatifs)
Identique à SE::Google::Suggest.