SE::Yandex::Direct - scraper d'annonces Yandex Direct direct.yandex.ru
Présentation du scraper
SE::Yandex::Direct – scraper d'annonces Yandex Direct. Collecte automatisée de toutes les données : nombre d'annonces pour une requête spécifique, titre, texte, domaine, liens additionnels et leurs ancres, tags.Vous pouvez utiliser la multiplication automatique des requêtes, la substitution de sous-requêtes à partir de fichiers, l'itération de combinaisons alphanumériques et de listes pour obtenir le maximum de résultats possible. En utilisant le filtrage des résultats, vous pouvez immédiatement nettoyer le résultat en supprimant tous les éléments inutiles (en utilisant des mots-clés négatifs).
La fonctionnalité d'A-Parser permet de sauvegarder les paramètres de collecte de données du scraper SE::Yandex::Direct pour une utilisation ultérieure (présélections), de définir un calendrier de collecte et bien plus encore.
La sauvegarde des résultats est possible dans le format et la structure dont vous avez besoin, grâce au puissant moteur de gabarits intégré Template Toolkit qui permet d'appliquer une logique supplémentaire aux résultats et d'exporter les données dans divers formats, y compris JSON, SQL et CSV.
Données collectées
- Nombre d'annonces pour une requête spécifique
- Titre, texte et domaine
- Liens supplémentaires et leurs ancres
- Tags
- Indication si le résultat est une annonce publicitaire
Fonctionnalités
- Scrape le nombre maximal de résultats fournis par Yandex Direct – 10 pages
- Prend en charge le choix de la région de recherche
- Possibilité de contourner le captcha à l'aide du service AntiCaptcha ou de tout autre service prenant en charge leur API (il est recommandé d'activer le paramètre is_russian dans les paramètres d'antigate)
Cas d'utilisation
- Collecte des concurrents faisant de la publicité sur des requêtes données
Requêtes
Vous devez spécifier des phrases de recherche comme requêtes, par exemple :
Acheter kite
Photoshop
Fenêtres à Moscou
Rénovation d'appartements
Substitutions de requêtes
Vous pouvez utiliser les macros intégrées pour la substitution automatique de sous-requêtes à partir de fichiers. Par exemple, si nous voulons ajouter une liste d'autres mots à chaque requête, indiquons quelques requêtes de base :
fantasy
tower defense
rpg
Dans le format de requête, indiquons la macro de substitution de mots supplémentaires à partir du fichier keywords.txt. Cette méthode permet d'augmenter considérablement la variabilité des requêtes :
{subs:keywords} $query
Cette macro créera autant de requêtes supplémentaires qu'il y en a dans le fichier pour chaque requête de recherche initiale, ce qui donnera au total [nombre de requêtes initiales] x [nombre de requêtes dans le fichier Keywords] = [nombre total de requêtes] suite au fonctionnement de la macro.
Par exemple, si le fichier keywords.txt contient :
free
online
Au final, la macro de substitution transformera 3 requêtes de base en 6 :
free fantasy
online fantasy
free tower defense
online tower defense
free rpg
online rpg
Variantes d'affichage des résultats
A-Parser prend en charge un formatage flexible des résultats grâce au moteur de gabarits intégré Template Toolkit, ce qui lui permet d'afficher les résultats sous une forme libre ou structurée, comme CSV ou JSON.
Affichage par défaut
Format du résultat :
$query - $totalcount\n$ads.format('$domain: $title - $text\n')
Exemple de résultat :
Photoshop - 5
www.syssoft.ru: Adobe Photoshop CS5 - Remises - Photoshop CS5 avec remise d'un partenaire autorisé. Commandez maintenant !
www.disted.ru: Apprenez la photographie ! - Formation à distance en russe à l'Institut de photographie de New York.
www.softkey.ru: Licence Adobe Photoshop CS ! - Meilleures nouvelles fonctions de travail d'image d'Adobe Photoshop.
www.softprof-it.ru: Licence Photoshop à partir de 23000 roubles - Prix bas Photoshop - à partir de 23000 roubles. Appelez. Précisez les conditions d'achat.
photoshop.pro1904.ru: Travail magistral dans Photoshop ! - Cours unique "Photoshop de zéro". Devenir Maître Photoshop.
Acheter kite - 0
Fenêtres à Moscou - 33
www.imperia51.com: Fenêtres à Mourmansk ! Prix bas ! - Prix très bas ! Garantie ! Montage de qualité ! Tout cela est « Empire des Fenêtres » !
mirperegorodok-kms.ru: Société « Monde des Cloisons » - Systèmes en aluminium : cloisons de bureau, groupes d'entrée, portes...
inkar-avto.ru: Moscou-St Pétersbourg-Moscou en bus - Lun,mar,mer,jeu - 1000 rub, ven,sam,dim - 1300.
Affichage dans un tableau CSV
Format général du résultat :
[% FOREACH i IN p1.ads;
tools.CSVline(i.domain, i.title, i.text);
END %]
Nom du fichier :
$datefile.format().csv
Texte initial :
Domaine,Titre,Texte
Dans le Format général des résultats, le moteur de gabarits Template Toolkit est utilisé pour afficher les éléments du tableau $ads dans une boucle FOREACH.
Dans le nom du fichier de résultats, il suffit de changer l'extension du fichier en csv.
Pour que l'option "Texte initial" soit disponible dans l'Éditeur de tâches, vous devez activer "Plus d'options". Dans "Texte initial", nous inscrivons les noms des colonnes séparés par des virgules et laissons la deuxième ligne vide.
Sauvegarde au format SQL
Format du résultat :
[% FOREACH ads;
"INSERT INTO ads VALUES('" _ domain _ "', '" _ title _ "', '" _ text _ "')\n";
END %]
Exemple de résultat :
INSERT INTO ads VALUES('oknamr.ru', 'Plastique <b>fenêtres</b> pas cher <b>à</b> <b>Moscou</b> : acheter à bas...', 'La société « <b>FENÊTRES</b> <b>DE MOSCOU</b> » effectue l'installation de <b>fenêtres</b>, plastiques, portes et cloisons, ainsi que le vitrage de balcons <b>à</b> <b>Moscou</b> et sa région.')
INSERT INTO ads VALUES('gor-okna.ru', 'Acheter <b>fenêtres</b> PVC pas cher | <b>Fenêtres</b> PVC <b>à</b> <b>Moscou</b> aux prix...', 'Commander des <b>fenêtres</b> PVC de qualité <b>à</b> <b>Moscou</b> avec livraison et installation. ... <b>Moscou</b>. de 9:00 à 21:00 tous les jours.')
INSERT INTO ads VALUES('balcon-msk.ru', 'Vitrage de balcons et loggias <b>à</b> <b>Moscou</b>.', 'Société « Balcons de <b>Moscou</b>» produit le vitrage professionnel de balcons et loggias ... Le prix inclut : <b>Fenêtres</b> aluminium 3,2x0,7m h-1,5m, rejet d'eau, montage...')
INSERT INTO ads VALUES('окнамаркет33.рф', 'Printemps ! C\'est le moment d\'acheter de nouvelles <b>fenêtres</b> PVC ! Cadeau – Moustiquaire…', '<b>Fenêtre</b> 1.3x1.4 pour 9900 clé en main dans un immeuble en panneaux ! <b>Fenêtre</b> 2.0x1.4 pour 13500 clé en main !')
INSERT INTO ads VALUES('topokno72.ru', 'Plastique <b>fenêtres</b>. Portes, balcons', 'Plastiques <b>fenêtres</b> et toutes structures en PVC WinTech, Exprof, Proplex, Rehau, KBE')
INSERT INTO ads VALUES('okna-moskvy1.ru', '<b>Fenêtres</b> <b>de Moscou</b>. Site officiel', 'Seulement jusqu'à la fin du mois. <b>Fenêtres</b> REHAU avec remise jusqu'à 60%. Multivitrage en cadeau. Cliquez !')
INSERT INTO ads VALUES('russia.superjob.ru', 'Plastique et aluminium <b>fenêtres</b>', 'De nouveaux collègues vous attendent déjà ! Recherche facile, recommandations gratuites, import rapide. · 20 ans sur le marché. Recommandations. Recherche facile. Support en ligne')
INSERT INTO ads VALUES('gorokna-11.ru', 'Plastique <b>fenêtres</b> <b>à</b> Vorkouta. <b>Fenêtres</b>, loggias, balcons', '<b>Fenêtres</b> PVC avec remise à Vorkouta')
INSERT INTO ads VALUES('shop.oknagorizont.ru', 'Boutique en ligne de <b>fenêtres</b>, fenêtres plastiques pas chères <b>fenêtres</b>...', 'Boutique en ligne de <b>fenêtres</b> sans montage, fenêtres plastiques pas chères <b>fenêtres</b> déjà aujourd'hui, prix bas sur les <b>fenêtres</b>. Beaucoup en stock et sur commande, fabrication urgente...')
INSERT INTO ads VALUES('msk-oknaidveri.ru', 'Plastique <b>fenêtres</b> PVC et portes d'entrée métalliques...', 'Classiques PVC-<b>fenêtres</b> - ce sont des <b>fenêtres</b>, faites de plastique, certifiées par le Ministère de la construction de Russie et conformes aux SNiP et autres...')
INSERT INTO ads VALUES('oknamag.pro', 'Plastique <b>fenêtres</b> pour maison de campagne acheter chez Oknamag Pro', 'Dimensions de la <b>fenêtre</b> en plastique : 600 de hauteur, 600 de largeur. Options disponibles.. Aperçu rapide. Code produit : opd0606.')
INSERT INTO ads VALUES('фурнитура-окон.рф', 'Quincaillerie pour <b>fenêtres</b> en plastique - Pièces...', 'Quincaillerie pour <b>fenêtres</b> <b>en</b> détail et en gros. Nous vous aiderons à faire le bon choix de composants et de pièces de rechange pour vos <b>fenêtres</b> en plastique.')
INSERT INTO ads VALUES('OknaGarant.ru', 'Fenêtres plastiques prêtes <b>fenêtres</b> <b>à</b> <b>Moscou</b>, acheter des neuves...', '<b>Fenêtres</b> vous attendent déjà dans notre entrepôt ! L'entrepôt se trouve <b>à</b> <b>Moscou</b> dans les limites du MKAD. Économie, coût nettement inférieur (par rapport aux <b>fenêtres</b> sur commande).')
INSERT INTO ads VALUES('domaster.ru', 'Accessoires de fenêtre et quincaillerie acheter <b>à</b> <b>Moscou</b>...', 'Pour <b>fenêtres</b> et portes. Boutique en ligne Brass — lieu où vous achèterez des accessoires pour l'entretien des <b>fenêtres</b> et de la quincaillerie de différentes sociétés avec livraison en Russie.')
INSERT INTO ads VALUES('sms-m.ru', 'Plastique <b>fenêtres</b> fabrication <b>à</b> <b>Moscou</b>', 'Quand la question de la minimisation des coûts lors de la fabrication de bâtiments modulaires s'est posée, la société StroyMontageService-M a décidé de lancer sa propre...')
INSERT INTO ads VALUES('rosband.ru', 'Acheter fenêtres plastiques <b>fenêtres</b> <b>à</b> <b>Moscou</b>', 'Plastique <b>fenêtres</b> possèdent d'excellentes propriétés d'isolation thermique et il n'est pas nécessaire de dépenser plus ... ville de <b>Moscou</b>, 1-1er passage Dobryninski, 19 str. 6.')
INSERT INTO ads VALUES('moskva.miltor.ru', 'Acheter fenêtres plastiques <b>fenêtres</b> <b>à</b> <b>Moscou</b> : 185 offres', 'Acheter des <b>fenêtres</b> plastiques <b>à</b> <b>Moscou</b> vous pouvez, en utilisant les annonces de notre site. Ici vous connaîtrez le coût des fenêtres plastiques <b>fenêtres</b>, conditions de commande et adresse...')
INSERT INTO ads VALUES('city-jaluzi.ru', 'Jalousies pour <b>fenêtres</b> acheter pas cher <b>à</b> <b>Moscou</b> - avis, photos...', 'Nous produisons des jalousies pour <b>fenêtres</b>, cousons des rideaux, assemblons des tringles et volets roulants sur commande depuis 2006 Prix de 495 à 5 900 ₽ pour 1 m², Mesure gratuite et...')
Dump des résultats en JSON
Format de sortie general:
[% IF notFirst;
",\n";
ELSE;
notFirst = 1;
END;
obj = {};
obj.ads = [];
FOREACH item IN p1.ads;
obj.ads.push({
domain = item.domain
title = item.title
text = item.text
});
END;
obj.json %]
Texte initial:
[
Texte final:
]
Exemple de résultat :
[{"ads": [{"domain":"oknamr.ru","text":"Société « <b>FENÊTRES</b> <b>DE MOSCOU</b>» effectue l'installation de <b>fenêtres</b>, plastiques, portes et cloisons, ainsi que le vitrage de balcons <b>à</b> <b>Moscou</b> et sa région.","title":"Plastique <b>fenêtres</b> pas cher <b>à</b> <b>Moscou</b>: acheter à bas prix..."},{"domain":"gor-okna.ru","text":"Commander des <b>fenêtres</b> PVC <b>à</b> <b>Moscou</b> avec livraison et installation. ... <b>Moscou</b>. de 9:00 à 21:00 tous les jours.","title":"Acheter <b>fenêtres</b> PVC pas cher | <b>Fenêtres</b> PVC <b>à</b> <b>Moscou</b> aux prix..."},{"domain":"balcon-msk.ru","text":"Société « Balcons de <b>Moscou</b>» produit le vitrage professionnel de balcons et loggias ... Le prix inclut : <b>Fenêtres</b> aluminium 3,2x0,7m h-1,5m, rejet d'eau, montage...","title":"Vitrage de balcons et loggias <b>à</b> <b>Moscou</b>."},{"domain":"oknamarket33.рф","text":"<b>Fenêtre</b> 1.3x1.4 pour 9900 clé en main dans un immeuble à panneaux ! <b>Fenêtre</b> 2.0x1.4 pour 13500 clé en main !","title":"Printemps ! Temps d'acheter de nouvelles <b>fenêtres</b> PVC ! Cadeau – – Moustiquaire…"},{"domain":"okna-moskvy1.ru","text":"Seulement jusqu'à la fin du mois. <b>Fenêtres</b> REHAU REHAU avec remise jusqu'à 60%. Multivitrage en cadeau. Cliquez !","title":"<b>Fenêtres</b> <b>de Moscou</b>. Site officiel"},{"domain":"okno61.rf","text":"Plastique <b>fenêtres</b> à bas prix ! Montage de qualité. Livraison rapide. Garantie.","title":"<b>Fenêtres</b> <b>à</b> Bataïsk ! Remises saisonnières"},{"domain":"gorokna-11.ru","text":"<b>Fenêtres</b> PVC avec remise à Vorkouta","title":"Plastique <b>fenêtres</b> <b>à</b> Vorkouta. <b>Fenêtres</b>,loggias,balcons"}]}]
Pour que les options "Texte initial" et "Texte final" soient disponibles dans l'Éditeur de tâches, vous devez activer "Plus d'options".
Paramètres possibles
| Paramètre | Valeur par défaut | Description |
|---|---|---|
| Pages count | 10 | Nombre de pages à scraper |
| Region of serp (lr=) | Moscou | Choix de la région de recherche (paramètre lr=) |
| AntiGate preset | default | Utilisation du service de résolution de captcha. Il est nécessaire de configurer préalablement le scraper  Util::AntiGate - indiquer sa clé d'accès et d'autres paramètres, puis choisir la présélection créée ici |