Rank::KeysSo - Scraper keys.so

Présentation du scraper

Keys.so est un outil d'intelligence concurrentielle. Le service permet de s'orienter avec la liste des concurrents de son site, de voir pour quels mots-clés ils sont classés dans la recherche et pour quelles requêtes leurs annonces s'affichent. La plus grande base de données de requêtes du Runet est disponible, avec plus de 80 millions de mots-clés.

La fonctionnalité d'A-Parser permet de sauvegarder les paramètres de collecte de données pour une utilisation ultérieure (présélections), de définir un calendrier de collecte de données et bien plus encore. Vous pouvez utiliser la multiplication automatique des requêtes, la substitution de sous-requêtes à partir de fichiers, l'itération de combinaisons alphanumériques et de listes pour obtenir le maximum de résultats possible.

La sauvegarde des résultats est possible dans la forme et la structure dont vous avez besoin, grâce au puissant moteur de gabarits intégré Template Toolkit qui permet d'appliquer une logique supplémentaire aux résultats et d'exporter les données dans divers formats, y compris JSON, SQL et CSV.

Accéder à la DÉMO Acheter A-Parser Pro ($299)

Données collectées

Classement par visibilité dans le Runet
Classement par couverture de mots-clés
Nombre de pages dans le TOP-50
Trafic de recherche (Nombre approximatif d'utilisateurs provenant de la recherche organique par jour)
Nombre de pages dans l'index
Trafic par page
Nombre de requêtes par page
Évaluation de l'efficacité (Pourcentage de mots-clés du TOP50 occupant des positions dans le TOP5)
Nombre de sites appartenant au propriétaire du domaine dans Adsense, Analytics, Leadia et Relap.io
Nombre de sous-domaines du propriétaire du domaine
Nombre de requêtes dans le top-1, top-3, top-5, top-10, top-50
Pages dans les résultats organiques (obtient le lien vers la page et le nombre de mots-clés)
Liste des concurrents (lien vers le domaine, nombre de mots-clés communs, degré de similarité du domaine, trafic Yandex)
Phrases clés (requête, fréquence, position)

Pour les sites avec publicité contextuelle :

Trafic contextuel (Estimation du trafic provenant du contextuel sans tenir compte des ciblage. Produit de la fréquence exacte par le CTR prévu, divisé par 30 jours)
Estimation du budget (Estimation du budget sans tenir compte des ciblage. Produit de la fréquence exacte par le CTR prévu par le coût par clic)
Nombre d'annonces dans le contextuel
Nombre de requêtes dans le contextuel
Nombre de requêtes par annonce
Annonces dans le contextuel (Annonce et nombre de requêtes)
Concurrents dans le contextuel (Domaine, nombre de requêtes communes, total des requêtes, nombre d'annonces)
Requêtes du site dans le contextuel (Requête, fréquence, position, placement, prix du clic)

Fonctionnalités

Choix de la région de recherche pour Google et Yandex
Collecte de données avec autorisation (via la substitution de cookies)

Cas d'utilisation

Obtention du classement par visibilité dans le Runet, par couverture de mots-clés
Obtention du volume de trafic par page
Obtention du nombre de requêtes dans le top-1, top-3, top-5, top-10, top-50
Recherche de concurrents d'un site
Obtention de la liste des requêtes pour lesquelles le site est classé dans la recherche
Obtention des annonces de publicité contextuelle du site
Obtention des concurrents dans le contextuel
Collecte de données sur les résultats régionaux pour Google et Yandex

Requêtes

En tant que requêtes, il est nécessaire d'indiquer le domaine, par exemple :

a-parser.com

Exemples de sortie de résultats

A-Parser prend en charge un formatage flexible des résultats grâce au moteur de gabarits intégré Template Toolkit, ce qui lui permet d'afficher les résultats sous une forme libre, ainsi que structurée, par exemple CSV ou JSON

Sortie par défaut

Format du résultat :

Query - $query, By vision in runet - $by_vis, By keys - $by_keys, Requests in top 50 - $in_top50,  Search traf - $search_traff\n

Exemple de résultat :

Query - a-parser.com, By vision in runet - 104606, By keys - 197798, Requests in top 50 - 1540,  Search traf - 57

Sortie de la liste des concurrents

Format du résultat :

$comp_keys.format('$links, $total_keys, $similarity, $traff_y\n')

Exemple de résultat :

http://youtube.com, 1360, 0.00, 8286326
http://habr.com, 1174, 0.04, 116283
http://vc.ru, 1172, 0.06, 40749
http://zen.yandex.ru, 923, 0.00, 5944772
http://spark.ru, 870, 0.33, 2062
http://zennolab.com, 828, 2.78, 216
http://web-data-extractor.net, 819, 35.11, 53

Sortie de la liste des concurrents en CSV

Format du résultat :

[% FOREACH comp_keys;
  tools.CSVline(links, total_keys, similarity, traff_y);
END %]

Exemple de résultat :

http://vk.com,5316893,12.18,8682202
http://youla.ru,5222139,84.47,231703
http://moskva.tiu.ru,4812708,59.84,323103
http://youtube.com,4543041,8.27,8286326
http://moskva.regmarkets.ru,4106292,61.62,13983
http://ozon.ru,3783344,46.81,580266

Dump de la liste des concurrents en JSON

Format de sortie general:

[% IF notFirst;
  ",\n";
ELSE;
  notFirst = 1;
END;

obj = {};
obj.query = query;
obj.competitors = [];

FOREACH item IN p1.comp_keys;
    obj.competitors.push({
        links = item.links
        total_keys = item.total_keys
        similarity = item.similarity
        traff_y = item.traff_y
    });
END;

obj.json %]

Texte initial:

Texte final:

Exemple de résultat :

[
    {
        "query": "avito.ru",
        "competitors": [
            {
                "traffic": "8682202",
                "similarity": "12.18",
                "total_keys": "5316893",
                "links": "http://vk.com"
            },
            {
                "traffic": "231703",
                "similarity": "84.47",
                "total_keys": "5222139",
                "links": "http://youla.ru"
            },
            {
                "traffic": "323103",
                "similarity": "59.84",
                "total_keys": "4812708",
                "links": "http://moskva.tiu.ru"
            }
        ]
    }
]

astuce

Pour que les options "Texte initial" et "Texte final" soient disponibles dans l'Éditeur de tâches, il faut activer "Plus d'options".

Sortie de la liste des phrases clés

Format du résultat :

$key_phrases.format('$req, $base_freq, $va_freq, $pos\n')

Exemple de résultat :

a parser, 2870, 332, 1
a parser télécharger torrent, 183, 181, 1
aparser, 435, 118, 1
a parser torrent, 285, 103, 1
a scraper, 423, 101, 1
a parser com, 221, 87, 1
scraper de résultats google, 66, 61, 1
checker de positions en masse a-parser, 53, 52, 1

Sortie de la liste des phrases clés en CSV

Format du résultat :

[% FOREACH key_phrases;
  tools.CSVline(req, base_freq, va_freq, pos);
END %]

Exemple de résultat :

"avito",59415062,9034027,1
"avito moscou",1782404,451582,1
"avito saint-pétersbourg",634665,343183,1
avito,1207134,307012,1
"avito voronej",629468,286035,1

Dump de la liste des phrases clés en JSON

Format de sortie general:

[% IF notFirst;
  ",\n";
ELSE;
  notFirst = 1;
END;

obj = {};
obj.query = query;
obj.phrases = [];

FOREACH item IN p1.key_phrases;
    obj.phrases.push({
        req = item.req
        base_freq = item.base_freq
        va_freq = item.va_freq
        pos = item.pos
    });
END;

obj.json %]

Texte initial:

Texte final:

Exemple de résultat :

[
    {
        "query": "avito.ru",
        "phrases": [
            {
                "base_freq": "59415062",
                "req": "avito",
                "va_freq": "9034027",
                "pos": "1"
            },
            {
                "base_freq": "1782404",
                "req": "avito moscou",
                "va_freq": "451582",
                "pos": "1"
            },
            {
                "base_freq": "634665",
                "req": "avito saint-pétersbourg",
                "va_freq": "343183",
                "pos": "1"
            }
        ]
    }
]

astuce

Pour que les options "Texte initial" et "Texte final" soient disponibles dans l'Éditeur de tâches, il faut activer "Plus d'options".

Sortie des pages de résultats organiques

Format du résultat :

$organic_pages.format('$pages, $keys\n')

Exemple de résultat :

http://a-parser.com/, 315
http://a-parser.com/wiki/parsers/, 115
http://a-parser.com/a-parser-for-e-commerce/, 56
http://a-parser.com/wiki/js-parsers/, 44
http://a-parser.com/wiki/html-emailextractor/, 40
http://a-parser.com/resources/21/, 39
http://a-parser.com/threads/1809/, 35
http://a-parser.com/threads/4253/, 32

Sortie des pages de résultats organiques en CSV

Format du résultat :

[% FOREACH organic_page;
    tools.CSVline(pages, keys);
END %]

Exemple de résultat :

http://a-parser.com/, 315
http://a-parser.com/wiki/parsers/, 115
http://a-parser.com/a-parser-for-e-commerce/, 56
http://a-parser.com/wiki/js-parsers/, 44
http://a-parser.com/wiki/html-emailextractor/, 40
http://a-parser.com/resources/21/, 39
http://a-parser.com/threads/1809/, 35
http://a-parser.com/threads/4253/, 32

Dump des pages de résultats organiques en JSON

Format de sortie general:

[% IF notFirst;
  ",\n";
ELSE;
  notFirst = 1;
END;

obj = {};
obj.query = query;
obj.organic = [];

FOREACH item IN p1.organic_pages;
    obj.organic.push({
        pages = item.pages
        keys = item.keys
    });
END;

obj.json %]

Texte initial:

Texte final:

Exemple de résultat :

[
    {
        "query": "avito.ru",
        "organic": [
            {
                "keys": "4652",
                "pages": "http://avito.ru/"
            },
            {
                "keys": "4563",
                "pages": "http://avito.ru/moskva/avtomobili"
            },
            {
                "keys": "4484",
                "pages": "http://avito.ru/moskva/kvartiry/sdam-ASgBAgICAUSSA8gQ"
            }
        ]
    }
]

astuce

Pour que les options "Texte initial" et "Texte final" soient disponibles dans l'Éditeur de tâches, il faut activer "Plus d'options".

Sortie des annonces dans le contextuel

Format du résultat :

$ads_context.format('$aheader, $atext, $acount\n')

Exemple de résultat :

Réparation PC et Laptops à Moscou, à domicile ! Sur Avito depuis 2015 – Statut Bronze. Réception des demandes 24/7 ! · Ordinateurs & Laptops. Tablettes & Smartphones. Routeurs & WI - FI, 38658
Réservez une chambre sur Avito. En voyage avec Avito, Hôtels et auberges - de nombreuses offres spécialement pour vous. Maintenant sur Avito., 20122
Trouvez un emploi dans la ville de Moscou. Sur Avito Travail, Offres d'emploi récentes à Moscou. Avito - service d'annonces n°1 en Russie!, 20110

Sortie des annonces dans le contextuel en CSV

Format du résultat :

[% FOREACH ads_context;
  tools.CSVline(aheader, atext, acount);
END %]

Exemple de résultat :

Réparation PC et Laptops à Moscou","à domicile ! Sur Avito depuis 2015 – Statut Bronze. Réception des demandes 24/7 ! · Ordinateurs – Laptops. Tablettes · Smartphones. Routeurs & WI - FI",38658& WI - FI",38658& WI - FI",38658
"Réservez une chambre sur Avito. En voyage avec Avito","Hôtels et auberges - de nombreuses offres spécialement pour vous. Maintenant sur Avito.",20122
"Trouvez un emploi dans la ville de Moscou. Sur Avito Travail","Offres d'emploi récentes à Moscou. Avito - service d'annonces n°1 en Russie!",20110№1 en Russie!",20110
"Chiens sur Avito. Acheter ou adopter gratuitement.","Des centaines de milliers d'annonces. Faites de bonnes affaires dans toute la Russie avec Avito !",17306

Dump des annonces dans le contextuel en JSON

Format de sortie general:

[% IF notFirst;
  ",\n";
ELSE;
  notFirst = 1;
END;

obj = {};
obj.query = query;
obj.ads = [];

FOREACH item IN p1.ads_context;
    obj.ads.push({
        header = item.aheader
        text = item.atext
        count = item.acount
    });
END;

obj.json %]

Texte initial:

Texte final:

Exemple de résultat :

[
    {
        "ads": [
            {
                "count": "38658",
                "text": "à domicile ! Sur Avito depuis 2015 – Statut Bronze. Réception des demandes 24/7 ! · Ordinateurs – Laptops. Tablettes · Smartphones. Routeurs & WI - FI& WI - FI& WI - FI",
                "header": "Réparation PC et Laptops à Moscou"
            },
            {
                "count": "20122",
                "text": "Hôtels et auberges - de nombreuses offres spécialement pour vous. Maintenant sur Avito.",
                "header": "Réservez une chambre sur Avito. En voyage avec Avito"
            },
            {
                "count": "20110",
                "text": "Offres d'emploi récentes à Moscou. Avito - service d'annonces n°1 en Russie!",№1 en Russie!",
                "header": "Trouvez un emploi dans la ville de Moscou. Sur Avito Travail"
            }
        ],
        "query": "avito.ru"
    }
]

astuce

Pour que les options "Texte initial" et "Texte final" soient disponibles dans l'Éditeur de tâches, il faut activer "Plus d'options".

Sortie des concurrents dans le contextuel

Format du résultat :

$comp_context.format('$link, $common, $req, $ads\n')

Exemple de résultat :

http://uslugi.yandex.ru, 340399, 11188812, 30632
http://superjob.ru, 180179, 885168, 19065
http://mvideo.ru, 174070, 2840150, 344731
http://pleer.ru, 166815, 2577993, 238284
http://ru.jobsora.com, 124103, 596184, 99781
http://citilink.ru, 114529, 1903350, 94937
http://goods.ru, 113373, 2684645, 328750
http://pokupki.market.yandex.ru, 81527, 2657498, 326255

Sortie des concurrents dans le contextuel en CSV

Format du résultat :

[% FOREACH comp_context; 
    tools.CSVline(link, common, req, ads);
END %]

Exemple de résultat :

http://uslugi.yandex.ru, 340399, 11188812, 30632
http://superjob.ru, 180179, 885168, 19065
http://mvideo.ru, 174070, 2840150, 344731
http://pleer.ru, 166815, 2577993, 238284
http://ru.jobsora.com, 124103, 596184, 99781
http://citilink.ru, 114529, 1903350, 94937
http://goods.ru, 113373, 2684645, 328750
http://pokupki.market.yandex.ru, 81527, 2657498, 326255

Dump des concurrents dans le contextuel en JSON

Format de sortie general:

[% IF notFirst;
  ",\n";
ELSE;
  notFirst = 1;
END;

obj = {};
obj.query = query;
obj.competitors = [];

FOREACH item IN p1.comp_context;
    obj.competitors.push({
        link = item.link
        common = item.common
        req = item.req
        ads = item.ads
    });
END;

obj.json %]

Texte initial:

Texte final:

Exemple de résultat :

[
    {
        "query": "avito.ru",
        "competitors": [
            {
                "ads": "30632",
                "link": "http://uslugi.yandex.ru",
                "req": "11188812",
                "common": "340399"
            },
            {
                "ads": "19065",
                "link": "http://superjob.ru",
                "req": "885168",
                "common": "180179"
            },
            {
                "ads": "344731",
                "link": "http://mvideo.ru",
                "req": "2840150",
                "common": "174070"
            },
            
        ]
    }
]

astuce

Pour que les options "Texte initial" et "Texte final" soient disponibles dans l'Éditeur de tâches, il faut activer "Plus d'options".

Sortie des requêtes du site dans le contextuel

Format du résultat :

$wreq_context.format('$request, $freq, $va_freq, $pos, $placement, $price\n')

Exemple de résultat :

travail à tcheliabinsk, 202530, 40163, 3, Spéc., 4
algèbre 8ème classe dorofeev, 217307, 18467, 2, Gar., 2
far cry 3, 113266, 23218, 5, Gar., 3
travail à barnaoul, 128775, 26402, 3, Spéc., 4
harry potter et la chambre des secrets film 2002, 36482, 30450, 2, Gar., 5
mazda 6, 554463, 25248, 6, Gar., 19
assassin s creed, 535915, 29419, 5, Gar., 5
avito riazan, 325994, 137938, 3, Gar., 13

Sortie des requêtes du site dans le contextuel en CSV

Format du résultat :

[% FOREACH wreq_context;
    tools.CSVline(request, freq, va_freq, pos, placement, price);
END %]

Exemple de résultat :

"travail à tcheliabinsk",202530,40163,3,"Spéc.",4
"algèbre 8ème classe dorofeev",217307,18467,2,"Gar.",2
"far cry 3",113266,23218,5,"Gar.",3
"travail à barnaoul",128775,26402,3,"Spéc.",4
"harry potter et la chambre des secrets film 2002",36482,30450,2,"Gar.",5
"mazda 6",554463,25248,6,"Gar.",19
"assassin s creed",535915,29419,5,"Gar.",5
"avito riazan",325994,137938,3,"Gar.",13
"avito région de riazan",72077,19586,2,"Gar.",20

Dump des requêtes du site dans le contextuel en JSON

Format de sortie general:

[% IF notFirst;
  ",\n";
ELSE;
  notFirst = 1;
END;

obj = {};
obj.query = query;
obj.wreq = [];

FOREACH item IN p1.wreq_context;
    obj.wreq.push({
        request = item.request
        freq = item.freq
        va_freq = item.va_freq
        pos = item.pos
        placement = item.placement
        price = item.price
    });
END;

obj.json %]

Texte initial:

Texte final:

Exemple de résultat :

[
    {
        "query": "avito.ru",
        "wreq": [
            {
                "request": "travail à tcheliabinsk",
                "placement": "Spéc.",
                "freq": "202530",
                "va_freq": "40163",
                "price": "4",
                "pos": "3"
            },
            {
                "request": "algèbre 8ème classe dorofeev",
                "placement": "Gar.",
                "freq": "217307",
                "va_freq": "18467",
                "price": "2",
                "pos": "2"
            },
            {
                "request": "far cry 3",
                "placement": "Gar.",
                "freq": "113266",
                "va_freq": "23218",
                "price": "3",
                "pos": "5"
            }
        ]
    }
]

astuce

Pour que les options "Texte initial" et "Texte final" soient disponibles dans l'Éditeur de tâches, il faut activer "Plus d'options".

Paramètres possibles

note

Paramètres communs pour tous les scrapers

Paramètre	Valeur par défaut	Description
Search DB	`Yandex Moscow`	Choix de la base de recherche
Cookie "userlogin="		Dans ce champ, il est nécessaire d'indiquer la valeur du cookie `userlogin`, récupérée dans le navigateur après l'autorisation

Présentation du scraper​

Données collectées​

Fonctionnalités​

Cas d'utilisation​

Requêtes​

Exemples de sortie de résultats​

Sortie par défaut​

Sortie de la liste des concurrents​

Sortie de la liste des concurrents en CSV​

Dump de la liste des concurrents en JSON​

Sortie de la liste des phrases clés​

Sortie de la liste des phrases clés en CSV​

Dump de la liste des phrases clés en JSON​

Sortie des pages de résultats organiques​

Sortie des pages de résultats organiques en CSV​

Dump des pages de résultats organiques en JSON​

Sortie des annonces dans le contextuel​

Sortie des annonces dans le contextuel en CSV​

Dump des annonces dans le contextuel en JSON​

Sortie des concurrents dans le contextuel​

Sortie des concurrents dans le contextuel en CSV​

Dump des concurrents dans le contextuel en JSON​

Sortie des requêtes du site dans le contextuel​

Sortie des requêtes du site dans le contextuel en CSV​

Dump des requêtes du site dans le contextuel en JSON​

Paramètres possibles​

Présentation du scraper

Données collectées

Fonctionnalités

Cas d'utilisation

Requêtes

Exemples de sortie de résultats

Sortie par défaut

Sortie de la liste des concurrents

Sortie de la liste des concurrents en CSV

Dump de la liste des concurrents en JSON

Sortie de la liste des phrases clés

Sortie de la liste des phrases clés en CSV

Dump de la liste des phrases clés en JSON

Sortie des pages de résultats organiques

Sortie des pages de résultats organiques en CSV

Dump des pages de résultats organiques en JSON

Sortie des annonces dans le contextuel

Sortie des annonces dans le contextuel en CSV

Dump des annonces dans le contextuel en JSON

Sortie des concurrents dans le contextuel

Sortie des concurrents dans le contextuel en CSV

Dump des concurrents dans le contextuel en JSON

Sortie des requêtes du site dans le contextuel

Sortie des requêtes du site dans le contextuel en CSV

Dump des requêtes du site dans le contextuel en JSON

Paramètres possibles