Rank::MajesticSEO - Scraper du nombre de backlinks du service majesticseo.com
Présentation du scraper
Le scraper Majestic est l'un des scrapers les plus demandés par les spécialistes SEO car il permet d'obtenir des indicateurs cruciaux tels que le Trust Flow et le Citation Flow. Grâce au scraper Majestic automatisé et multithread, vous pouvez collecter les données suivantes : nombre de domaines référents, backlinks, pages indexées.
La fonctionnalité d'A-Parser permet de sauvegarder les paramètres de collecte de données pour une utilisation ultérieure (présélections), de définir des calendriers de collecte et bien plus encore.
Grâce au traitement multithread d'A-Parser, la vitesse de traitement des requêtes peut atteindre 100 requêtes par minute en utilisant seulement 50 threads.
La sauvegarde des résultats est possible dans le format et la structure dont vous avez besoin, grâce au puissant moteur de gabarit intégré Template Toolkit qui permet d'appliquer une logique supplémentaire aux résultats et d'exporter les données dans divers formats, notamment JSON, SQL et CSV.
Données collectées
Les données sont collectées à partir du service www.majesticseo.com
- Nombre de domaines référents
- Nombre de backlinks
- Nombre de pages indexées
- Indicateurs Trust Flow et Citation Flow
Cas d'utilisation
- Obtention d'informations récapitulatives sur un domaine
- Évaluation du nombre de backlinks
- Évaluation du trafic sur un domaine
Requêtes
Vous devez spécifier une liste de domaines comme requêtes, par exemple :
a-parser.com
yandex.ru
google.com
vk.com
facebook.com
youtube.com
Exemples de formatage des résultats
A-Parser prend en charge un formatage flexible des résultats grâce au moteur de gabarit intégré Template Toolkit, ce qui lui permet d'afficher les résultats sous n'importe quelle forme, ainsi que de manière structurée, par exemple en CSV ou JSON.
Exportation de la liste des résultats
Format du résultat :
$query - domains: $domains, backlinks: $backlinks, trust: $trustflow, citation: $citationflow, indexed: $indexed\n
Le résultat affiche le domaine, le nombre de backlinks, le nombre d'adresses IP référentes, le trust, la citation et les pages indexées.
Exemple de résultat :
facebook.com - domains: 28384898, backlinks: 83357892873, trust: 99, citation: 99, indexed: 6743835203
a-parser.com - domains: 380, backlinks: 90219, trust: 12, citation: 38, indexed: 16121
yandex.ru - domains: 592182, backlinks: 1751277762, trust: 88, citation: 82, indexed: 92468056
google.com - domains: 21134537, backlinks: 32206959211, trust: 100, citation: 100, indexed: 3278520318
vk.com - domains: 1145676, backlinks: 3235015237, trust: 90, citation: 85, indexed: 372205938
...
Sortie dans un tableau CSV
L'utilitaire intégré $tools.CSVLine permet de créer des documents tabulaires corrects, prêts à être importés dans Excel ou Google Sheets.
Format du résultat :
[% tools.CSVline(query.orig,domains,trustflow,citationflow,indexed) %]
Nom du fichier :
$datefile.format().csv
Texte initial :
Domaine,Domaines référents,Trust,Citation,Indexation
Exemple de résultat :
Domaine,Domaines référents,Trust,Citation,Indexation
a-parser.com,380,12,38,16121
yandex.ru,592182,88,82,92468056
vk.com,1145676,90,85,372205938
facebook.com,28384898,99,99,6743835203
google.com,21134537,100,100,3278520318
Le gabarit Template Toolkit est utilisé dans le format des résultats pour l'affichage des données.
Dans le nom du fichier de résultats, il suffit de changer l'extension du fichier en .csv.
Pour que l'option "Texte initial" soit disponible dans l'Éditeur de tâches, vous devez activer "Plus d'options". Dans "Texte initial", inscrivez les noms des colonnes séparés par des virgules et laissez la deuxième ligne vide.
Sauvegarde au format SQL
Format du résultat :
INSERT INTO serp VALUES('$query.orig', '$domains', '$backlinks', '$trustflow', '$citationflow', '$indexed')\n
Exemple de résultat :
INSERT INTO serp VALUES('google.com', '21134537', '32206959211', '100', '100', '3278520318')
INSERT INTO serp VALUES('vk.com', '1145676', '3235015237', '90', '85', '372205938')
INSERT INTO serp VALUES('yandex.ru', '592182', '1751277762', '88', '82', '92468056')
INSERT INTO serp VALUES('a-parser.com', '380', '90219', '12', '38', '16121')
INSERT INTO serp VALUES('facebook.com', '28384898', '83357892873', '99', '99', '6743835203')
Dump des résultats en JSON
Format de sortie general:
[% IF notFirst;
",\n";
ELSE;
notFirst = 1;
END;
obj = {};
obj.query = p1.query.orig;
obj.indexed = p1.indexed;
obj.domains = p1.domains;
obj.citationflow = p1.citationflow;
obj.trustflow = p1.trustflow;
obj.backlinks = p1.backlinks;
obj.json %]
Texte initial:
[
Texte final:
]
Exemple de résultat :
[
{"indexed":"372205938","domains":"1145676","citationflow":"85","query":"vk.com","trustflow":"90","backlinks":"3235015237"},
{"indexed":"92468056","domains":"592182","citationflow":"82","query":"yandex.ru","trustflow":"88","backlinks":"1751277762"},
{"indexed":"6743835203","domains":"28384898","citationflow":"99","query":"facebook.com","trustflow":"99","backlinks":"83357892873"},
{"indexed":"3278520318","domains":"21134537","citationflow":"100","query":"google.com","trustflow":"100","backlinks":"32206959211"},
{"indexed":"16121","domains":"380","citationflow":"38","query":"a-parser.com","trustflow":"12","backlinks":"90219"}
]
Pour que les options "Texte initial" et "Texte final" soient disponibles dans l'Éditeur de tâches, vous devez activer "Plus d'options".
Traitement des résultats
A-Parser permet de traiter les résultats directement pendant la collecte de données. Dans cette section, nous avons listé les cas les plus populaires pour le scraper Rank::MajesticSEO.
Sauvegarde des domaines avec le trust souhaité
Ajoutez un filtre et, dans la liste déroulante, sélectionnez la variable de vérification $trustflow - Trust flow. Choisissez le type, par exemple : >. Ensuite, dans Nombre, inscrivez la valeur souhaitée, par exemple 10. Avec ce filtre, vous pourrez supprimer tous les résultats ayant une valeur Trust flow inférieure à 10.
Télécharger l'exemple
Comment importer un exemple dans A-Parser
eJx9VFFP20AM/ivRCaRNggoe9lK0SQWt0iagDMpT24cjcbqjl3O4u5RWUf479iW9
tMD21Nr+7LM/f3EtvHQrd2fBgXdiOKtFGf6LobiXZjUc3shncF6lDz8nyWkyVtqD
TWAji1KDOBGltA4sZ84+JlA8g1xW2ouTWvhtCVQW12CtyjhZZWSXFjdbC94qcORb
S10x7PzsTDT/zgruHm0R/f/g6V+LxV6CtxXswfMwFoVpdu6W6tvK+VzjKznb6LSF
/jjokQwsvUJDlgPjRLNY7Kq4MdpCcrHZcZJJL5PvSd1cJMncsDV4qcBuyVeet38H
aNXyYhfNsJDKuDbeGTH4JNOVVmbVhaMZAbH9FhDNCEiVl9x3j9n3RJgyGWwgaxGd
wcHjxVGIPzs087mJzLkHuYYptpRC7ybdwK0smDROBI4O8sDPl68DvyGBCJllihuQ
uiWORdWT+WjUSyDdIGGZMNLLmLbKy4JQILC4I30mjoItqEQVcv+0OWKYS+3gRDhq
dSypkex9RNG6pUc7Caslfy3QjLS+hjXoHhbqX1ZKZ/QFjHJK+tUlfg6ZfKjRxPH2
nyLtvlrqIVYJ1uXkps/K8BqXNHn2RHNrVShPtrvCyrDeWJYrgDJydsucFWghPtNV
7l6n778Ewx9Kv7JR2bsOxjhYy6EzJfmo5aT7+HbIykzpyEzMFfLR4LlMpTWtxcF9
L4+R69bARt/g++Sr8ASPvrsswiNq9/uhbbW0iuT3jRssiMn9V7uSqdT68f56PyJ6
SZEhT9urNkixmJutZNkPbDU3S8Ql6Ta416v2N5cpPCF2luDyHpZIwqPhm0W8kPHE
1p/cyWHd0FKf3V2LZQYYST6i0oXzct68AXxQ/Fc=
Voir aussi : Filtres de résultats
Paramètres possibles
| Nom du paramètre | Valeur par défaut | Description |
|---|---|---|
| Check type | Root domain | Permet de choisir le type de vérification : Root Domain / Subdomain / URL |
| Use Chrome (Slow) | ☐ | Indique d'utiliser le navigateur Chrome pour toutes les requêtes |
| Use Headless mode for Chrome | ☑ | Utiliser le mode Headless pour les requêtes via le navigateur |
| Use Stealth mode for Chrome | ☐ | Masquer l'utilisation du navigateur lors des requêtes via le navigateur |
| Use HTTP2 for requests without Chrome | ☐ | Utiliser HTTP/2 pour les requêtes sans navigateur |
| Emulate browser headers for requests without Chrome | ☐ | Émuler les en-têtes du navigateur pour les requêtes sans navigateur |
| User-agent for requests without Chrome | [% tools.ua.random() %] | Remplacement du User-Agent pour les requêtes sans navigateur |
| Additional headers for requests without Chrome | Accept, Accept-Encoding, Accept-Language | Permet de définir des en-têtes pour les requêtes sans navigateur. Fonctionne de manière analogue à Additional headers dans  Net::HTTP. |