SE::Yahoo - Scraper de résultats de recherche Yahoo
Présentation du scraper
Scraper de la page de résultats de recherche Yahoo. Grâce au scraper Yahoo, vous pourrez obtenir de grandes bases de liens prêts pour une utilisation ultérieure. Vous pouvez utiliser les requêtes de la même manière que vous les saisissez dans la barre de recherche Yahoo, y compris les opérateurs de recherche (site, ip, etc.).
La fonctionnalité d'A-Parser permet de sauvegarder les paramètres de collecte de données du scraper Yahoo pour une utilisation ultérieure (présélections), de définir un calendrier de collecte et bien plus encore. Vous pouvez utiliser la multiplication automatique des requêtes, la substitution de sous-requêtes à partir de fichiers, l'itération de combinaisons alphanumériques et de listes pour obtenir le maximum de résultats possible.
La sauvegarde des résultats est possible dans la forme et la structure dont vous avez besoin, grâce au puissant moteur de gabarit intégré Template Toolkit qui permet d'appliquer une logique supplémentaire aux résultats et d'exporter les données dans divers formats, y compris JSON, SQL et CSV.
Données collectées
- Liens, ancres et extraits (snippets) des résultats
- Liste de mots-clés associés (Related keywords)
- Résultats publicitaires
Possibilités
- Prise en charge de tous les opérateurs de recherche Yahoo (site:, ip:, etc.)
- Scrape le nombre maximal de résultats fournis par Yahoo - 50 pages de 100 éléments par résultat
- Peut scraper automatiquement plus de 1000 résultats par requête - insère des caractères supplémentaires (option Parse all results)
- Possibilité de parser en profondeur par mots-clés associés (Parse related to level)
- Possibilité de recherche de mots-clés associés
- Prend en charge la spécification de la période des résultats
Cas d'utilisation
- Collecte de bases de liens - pour A-Poster, XRumer, AllSubmitter, etc.
- Évaluation de la concurrence pour les mots-clés
- Recherche de backlinks (mentions) de sites
- Vérification de l'indexation des sites
- Recherche de sites sur une même adresse IP
- Recherche de sites vulnérables
- Tout autre cas impliquant la collecte de données Yahoo sous une forme ou une autre
Requêtes
Comme requêtes, il est nécessaire d'indiquer des expressions de recherche, exactement comme si elles étaient saisies directement dans le formulaire de recherche Yahoo, par exemple :
test
fenêtres Moscou
site:http://lenta.ru
ip:222.36.12.12
Substitutions de requêtes
Vous pouvez utiliser les macros intégrées pour multiplier les requêtes, par exemple si nous voulons obtenir une très grande base de forums, indiquons quelques requêtes de base dans différentes langues :
forum
forum
foro
论坛
Dans le format des requêtes, indiquons une itération de caractères de a à zzzz, cette méthode permet de faire pivoter au maximum les résultats de recherche et d'obtenir de nombreux nouveaux résultats uniques :
$query {az:a:zzzz}
Cette macro créera 475254 requêtes supplémentaires pour chaque requête de recherche initiale, ce qui donnera au total 4 x 475254 = 1901016 requêtes de recherche, un chiffre impressionnant, mais ce n'est pas du tout un problème pour A-Parser. À une vitesse de 2000 requêtes par minute, une telle tâche sera traitée en seulement 16 heures.
Utilisation des opérateurs
Vous pouvez utiliser des opérateurs de recherche dans le format de la requête, ainsi il sera automatiquement ajouté à chaque requête de votre liste :
site:$query
Variantes d'affichage des résultats
A-Parser prend en charge un formatage flexible des résultats grâce au moteur de gabarit intégré Template Toolkit, ce qui lui permet d'afficher les résultats sous une forme libre, ainsi que structurée, par exemple CSV ou JSON
Export de la liste de liens
Liens + ancres + extraits avec affichage de la position
Affichage des liens, ancres et extraits dans un tableau CSV
Sauvegarde des mots-clés associés
Concurrence des mots-clés
Vérification de l'indexation des liens
Sauvegarde au format SQL
Dump des résultats en JSON
Traitement des résultats
A-Parser permet de traiter les résultats directement pendant la collecte, dans cette section nous avons listé les cas les plus populaires pour le scraper Yahoo
Déduplication des liens
Déduplication des liens par domaine
Extraction de domaines
Suppression des balises des ancres et extraits
Filtrage des liens par inclusion
Paramètres possibles
| Nom du paramètre | Valeur par défaut | Description |
|---|---|---|
| Pages count | 5 | Nombre de pages à scraper (de 1 à 50) |
| Serp time | All time | Période des résultats (recherche temporelle, paramètre "tbs=" : All time / Past 24 hours / Past week / Past month) |
| Safe Search | Moderate | Choix de l'option de recherche sécurisée (Off / Moderate / Strict) |
| Yahoo domain | United States (English) | Choix du domaine Yahoo |
| Yahoo language | Any | Choix de la langue Yahoo, permet de choisir la langue de recherche |
| Yahoo country | Any | Choix du pays, permet de choisir le pays pour lequel la recherche sera effectuée |
| Not found is error | ☐ | Considérer l'absence de résultats comme une erreur |