SE::Brave - Scraper de résultats de recherche Brave

Présentation du scraper

Le scraper de la page de résultats de recherche Brave permet de collecter des données à partir de ce moteur de recherche en pleine croissance, axé sur la vie privée. Grâce à lui, vous pourrez obtenir des bases de liens prêtes à l'emploi. Vous pouvez utiliser les requêtes telles que vous les saisissez dans Brave, y compris les opérateurs de recherche.

Grâce au traitement multithread d'A-Parser, la vitesse de traitement des requêtes peut être très élevée, ce qui permet de traiter de gros volumes de données en peu de temps.

Les fonctionnalités d'A-Parser permettent de sauvegarder les paramètres de collecte de données pour une utilisation ultérieure (présélections), de définir un calendrier de collecte et bien plus encore. Vous pouvez utiliser la multiplication de requêtes, la substitution de sous-requêtes à partir de fichiers, l'itération de combinaisons alphanumériques et de listes pour obtenir le maximum de résultats possible.

La sauvegarde des résultats est possible dans le format et la structure dont vous avez besoin, grâce au puissant moteur de gabarit intégré Template Toolkit qui permet d'appliquer une logique supplémentaire aux résultats et d'exporter les données dans divers formats, notamment JSON, SQL et CSV.

Accéder à la DÉMO Acheter A-Parser Pro ($299)

Données collectées

Liens, ancres et snippets des résultats, ainsi que la date du snippet (si disponible)
Liste de mots-clés associés (Related keywords)

Fonctionnalités

support de tous les opérateurs de recherche Brave (site:, inurl:, etc.)
indication du nombre de pages (de 1 à 10), en moyenne Brave affiche environ 10 résultats par page
indication de la région des résultats et de la langue de l'interface de la page obtenue
possibilité d'obtenir des résultats locaux précis, avec prise en charge de la localisation par IP ou indication précise
possibilité de choisir le type de résultats : en plus des résultats organiques principaux, le scraper Brave peut collecter des résultats d'actualités ou de vidéos
support de l'indication de la période des résultats (tout le temps ou pour un intervalle spécifique de 24 heures à un an)
support des sessions

Cas d'utilisation

Collecte de bases de liens - pour XRumer, AllSubmitter, GSA Ranker, etc.
Dump de la SERP incluant liens, ancres et snippets permettant une analyse approfondie pour les spécialistes SEO et les marketeurs.
Recherche de backlinks et de mentions de sites
Tout autre cas impliquant l'obtention de résultats de recherche pour un nombre illimité de requêtes

Requêtes

Comme requêtes, vous devez indiquer des phrases de recherche, exactement comme si vous les saisissiez directement dans le formulaire de recherche Brave, par exemple :

achat voiture
fenêtres à Kiev
site:https://lenta.ru
inurl:guestbook

Substitutions de requêtes

Vous pouvez utiliser les macros intégrées pour multiplier les requêtes. Par exemple, si nous voulons obtenir une très grande base de forums, nous indiquerons plusieurs requêtes de base dans différentes langues :

forum
forum
foro
论坛

Dans le format de requête, nous indiquerons une itération de caractères de a à zzzz ; cette méthode permet de faire pivoter au maximum les résultats de recherche et d'obtenir de nombreux nouveaux résultats uniques :

$query {az:a:zzzz}

Cette macro créera 475254 requêtes supplémentaires pour chaque requête de recherche initiale, ce qui donnera au total 4 x 475254 = 1901016 requêtes de recherche. Le chiffre est impressionnant, mais ce n'est pas du tout un problème pour A-Parser. À une vitesse de 2000 requêtes par minute, une telle tâche sera traitée en seulement 16 heures.

Utilisation d'opérateurs

Vous pouvez utiliser des opérateurs de recherche dans le format de requête, ainsi ils seront automatiquement ajoutés à chaque requête de votre liste, par exemple :

inurl:$query

Exemples de sortie de résultats

A-Parser prend en charge un formatage flexible des résultats grâce au moteur de gabarit intégré Template Toolkit, ce qui lui permet d'afficher les résultats sous une forme libre ou structurée, comme CSV ou JSON.

Exportation d'une liste de liens

Format du résultat :

$serp.format('$link\n')

Exemple de résultat :

https://www.mobile.de/ru
https://auto.drom.ru/
https://autospot.ru/brands/
https://www.destacar.de/
https://www.autoscout24.de/auto/gebrauchtwagen/bayern/falkenstein/
https://www-autoservice-falkenstein.skoda-auto.de/?e=7
https://auto.ru/
https://www.autohaus-schueler.de/
https://www.avtogermes.ru/sale/
https://falkenstein.seat.de/
...

Liens + ancres + snippets avec affichage de la position

Format du résultat :

[% FOREACH item IN serp;
    loop.count _ ' - ' _ item.link _ ' - ' _ item.anchor _ ' - ' _ item.snippet _ "\n";
END %]

Exemple de résultat :

- https://www.mobile.de/ru - mobile.de: voitures d'occasion — annonces de ... - mobile.de/ru fait partie de mobile.de, le plus grand marché automobile d'Allemagne. mobile.de simplifie l'achat d'une voiture. Grâce à une recherche simple et quelques clics, vous obtenez une vue d'ensemble complète du marché.
- https://auto.drom.ru/ - Vente de voitures en Russie. Occasions... - 775 361 annonces de vente de voitures. Vente de voitures neuves et d'occasion à partir de 10 000 roubles. Salons automobiles et annonces privées.
- https://www.destacar.de/ - Voitures d'Allemagne sur commande | ... - La société Destacar est toujours prête à vous aider dans la recherche, la sélection, l'inspection et l'achat d'une voiture en Allemagne. Nous vous aiderons à acheter une voiture d'occasion en Allemagne, nous ferons l'inspection et l'essai routier pour que vous soyez totalement sûr de l'état de votre voiture.
- https://autospot.ru/brands/ - Acheter une voiture à Moscou : prix sur ... - ✸ Sélection de voiture par paramètres à Moscou : prix dans le catalogue de voitures Autospot. ✸ Catalogue de voitures avec prix et caractéristiques techniques - vente par des concessionnaires officiels.
- https://www.autoscout24.de/auto/gebrauchtwagen/bayern/falkenstein/ - Gebrauchtwagen Falkenstein: Auto günstig kaufen - Gebrauchtwagen &amp; Jahreswagen in Falkenstein kaufen und verkaufen bei AutoScout24.de - Europas großem Automarkt » Jetzt finden oder inserieren!
- https://www-autoservice-falkenstein.skoda-auto.de/?e=7 - ŠKODA Gebrauchtwagen in Falkenstein | Auto-Service Falkenstein GmbH - ŠKODA Gebrauchtwagen in Falkenstein | Auto-Service Falkenstein GmbH ✔ Günstig finanzieren ✔ Beste ŠKODA Vorführwagen und Jahreswagen ✔ ŠKODA gebraucht kaufen ✔ Probefahrt vereinbaren
- https://auto.ru/ - Auto.ru : acheter, vendre et échanger ... - Ce site fonctionne conformément à la législation de la Fédération de Russie et n'est pas destiné à fonctionner dans votre région. En continuant à utiliser le site, ...
- https://www.autohaus-schueler.de/ - Ihr Audi und VW Autohaus Schüler in Falkenstein - Ihr Autohaus Schüler in Falkenstein, Oelsnitz, Plauen &amp; Wilkau-Hasslau - Wir bieten ein großes Angebot an Neu- und Gebrauchtwagen, Audi &amp; VW Service.
...

Sortie des liens, ancres et snippets dans un tableau CSV

L'utilitaire intégré $tools.CSVLine permet de créer des documents tabulaires corrects, prêts à être importés dans Excel ou Google Sheets.

Format général du résultat :

[%  FOREACH item IN p1.serp;
    tools.CSVline(item.link, item.anchor, item.snippet);
END  %]

Nom du fichier :

$datefile.format().csv

Texte initial :

Lien,Ancre,Snippet

Exemple de résultat :

Lien,Ancre,Snippet
https://www.mobile.de/ru,"mobile.de: voitures d'occasion — annonces de ...","mobile.de/ru fait partie de mobile.de, le plus grand marché automobile d'Allemagne. mobile.de simplifie l'achat d'une voiture. Grâce à une recherche simple et quelques clics, vous obtenez une vue d'ensemble complète du marché."
https://auto.drom.ru/,"Vente de voitures en Russie. Occasions...","775 361 annonces de vente de voitures. Vente de voitures neuves et d'occasion à partir de 10 000 roubles. Salons automobiles et annonces privées."
https://www.destacar.de/,"Voitures d'Allemagne sur commande | ...","La société Destacar est toujours prête à vous aider dans la recherche, la sélection, l'inspection et l'achat d'une voiture en Allemagne. Nous vous aiderons à acheter une voiture d'occasion en Allemagne, nous ferons l'inspection et l'essai routier pour que vous soyez totalement sûr de l'état de votre voiture."
https://autospot.ru/brands/,"Acheter une voiture à Moscou : prix sur ...","✸ Sélection de voiture par paramètres à Moscou : prix dans le catalogue de voitures Autospot. ✸ Catalogue de voitures avec prix et caractéristiques techniques - vente par des concessionnaires officiels."
https://www.autoscout24.de/auto/gebrauchtwagen/bayern/falkenstein/,"Gebrauchtwagen Falkenstein: Auto günstig kaufen","Gebrauchtwagen &amp; Jahreswagen in Falkenstein kaufen und verkaufen bei AutoScout24.de - Europas großem Automarkt » Jetzt finden oder inserieren!"
https://www-autoservice-falkenstein.skoda-auto.de/?e=7,"ŠKODA Gebrauchtwagen in Falkenstein | Auto-Service Falkenstein GmbH","ŠKODA Gebrauchtwagen in Falkenstein | Auto-Service Falkenstein GmbH ✔ Günstig finanzieren ✔ Beste ŠKODA Vorführwagen und Jahreswagen ✔ ŠKODA gebraucht kaufen ✔ Probefahrt vereinbaren"
https://auto.ru/,"Auto.ru : acheter, vendre et échanger ...","Ce site fonctionne conformément à la législation de la Fédération de Russie et n'est pas destiné à fonctionner dans votre région. En continuant à utiliser le site, ..."
https://www.autohaus-schueler.de/,"Ihr Audi und VW Autohaus Schüler in Falkenstein","Ihr Autohaus Schüler in Falkenstein, Oelsnitz, Plauen &amp; Wilkau-Hasslau - Wir bieten ein großes Angebot an Neu- und Gebrauchtwagen, Audi &amp; VW Service."
...

astuce

Dans le Format général des résultats, le moteur de gabarit Template Toolkit est utilisé pour afficher le tableau $serp dans une boucle FOREACH.

Dans le nom du fichier de résultats, il suffit de changer l'extension du fichier en csv.

Pour que l'option "Texte initial" soit disponible dans l'Éditeur de tâches, vous devez activer "Plus d'options". Dans "Texte initial", inscrivez les noms des colonnes séparés par des virgules et laissez la deuxième ligne vide.

Format du résultat :

$related.format('$key\n')

Exemple de résultat :

test speed
ookla speed test
speed test wifi
internet speed test
run speed test
fast speed test
mbps test
test 2
test match
google speed test
...

Sauvegarde au format SQL

Format du résultat :

[%  FOREACH serp;
    "INSERT INTO serp VALUES('" _ query _ "', '";
    link _ "', '";
    anchor _ "')\n";
END  %]

Exemple de résultat :

    
INSERT INTO serp VALUES('test', 'https://www.speedtest.net/', 'Speedtest by Ookla - The Global Broadband Speed Test')
INSERT INTO serp VALUES('test', 'https://www.merriam-webster.com/dictionary/test', 'TEST Definition & Meaning - Merriam-Webster')
INSERT INTO serp VALUES('test', 'https://englishtest.duolingo.com/', 'Duolingo English Test')
INSERT INTO serp VALUES('test', 'https://link.springer.com/journal/11749', 'Home | TEST | Springer Nature Link')
INSERT INTO serp VALUES('test', 'https://test.io/', 'Home | Test IO')
INSERT INTO serp VALUES('test', 'https://www.spectrum.com/internet/speed-test', 'Spectrum Internet Speed Test: Broadband Internet Speed Check')
INSERT INTO serp VALUES('test', 'https://fast.com/', 'Internet Speed Test | Fast.com')
INSERT INTO serp VALUES('test', 'https://en.wikipedia.org/wiki/Test', 'Test - Wikipedia')
...

Dump des résultats en JSON

Format de sortie general:

[% IF notFirst;
  ",\n";
ELSE;
  notFirst = 1;
END;

obj = {};
obj.results = [];

FOREACH item IN p1.serp;
    obj.results.push({
        link = item.link
        anchor = item.anchor
        snippet = item.snippet
    });
END;

obj.json %]

Texte initial:

Texte final:

Exemple de résultat :

{"results":[{"link":"https://www.speedtest.net/","snippet":"Use Speed<strong>test</strong> on all your devices with our free desktop and mobile apps.","anchor":"Speedtest by Ookla - The Global Broadband Speed Test"},{"link":"https://www.merriam-webster.com/dictionary/test","snippet":"The meaning of TEST is <strong>a means of testing</strong>. How to use test in a sentence.","anchor":"TEST Definition & Meaning - Merriam-Webster"},{"link":"https://englishtest.duolingo.com/","snippet":"The Duolingo English Test is a fast, affordable online English exam accepted by institutions worldwide. Take it anytime and get results in 2 days","anchor":"Duolingo English Test"},{"link":"https://link.springer.com/journal/11749","snippet":"Journal TEST <strong>focuses on cutting-edge research in all areas of Statistics and Probability with significant theoretical, methodological, and applied impact</strong>. ...","anchor":"Home | TEST | Springer Nature Link"},{"link":"https://test.io/","snippet":"Test IO delivers a full range of web, mobile, and IoT <strong>test</strong>ing, delivered as a service.","anchor":"Home | Test IO"},{"link":"https://www.spectrum.com/internet/speed-test","snippet":"Test your broadband Internet and WiFi speed with the Internet Speed Test. Check your upload and download speeds for your home Internet network.","anchor":"Spectrum Internet Speed Test: Broadband Internet Speed Check"},{"link":"https://fast.com/","snippet":"FAST.com will <strong>test</strong> Internet speed globally on any device (phone, laptop, or smart TV with browser).","anchor":"Internet Speed Test | Fast.com"},{"link":"https://en.wikipedia.org/wiki/Test","snippet":"Look up test, testing, Test, or TEST in Wiktionary, the free dictionary. ... Test (assessment), <strong>an educational assessment intended to measure the respondents&#x27; knowledge or other abilities</strong> ... Test., abbreviation for Testament, referring to the Old Testament and New Testament of the Christian Bible.","anchor":"Test - Wikipedia"},{"link":"https://speed.cloudflare.com/","snippet":"Test your Internet connection. Check your network performance with our Internet speed <strong>test</strong>. Powered by Cloudflare&#x27;s global edge network.","anchor":"Internet Speed Test - Measure Network Performance | Cloudflare"},{"link":"https://testmy.net/","snippet":"TestMy.net is a powerful broadband speed <strong>test</strong> that will <strong>test</strong> your Internet, calculate your transfer rate and output accurate, reliable and easy to understand results. TestMy.net is an independent third party and is not affiliated with your Internet service provider.","anchor":"Internet Speed Test"},{"link":"https://www.livechat.com/typing-speed-test/","snippet":"The faster you type, the faster you communicate with others. With our free typing speed <strong>test</strong>, you can check your WPM and CPM typing scores in a flash!","anchor":"Free Typing Test - Check Your Typing Speed in 60 Seconds | LiveChat ..."},{"link":"https://fiber.google.com/speedtest/","snippet":"Test your current internet speed, and find out how fast your broadband wi-fi handles uploads and downloads. See Google Fiber plan options for faster internet.","anchor":"Internet Speed Test | Check Broadband Speed | Google Fiber"},{"link":"https://zoom.us/test","snippet":"Preview your next Zoom Meeting using out <strong>test</strong> meeting tool to check your settings and display.","anchor":"Join a Test Meeting | Zoom"},{"link":"https://implicit.harvard.edu/implicit/takeatest.html","snippet":"On the next page, you&#x27;ll be asked to select an Implicit Association Test (IAT) from a list of possible topics. We&#x27;ll also ask you (optionally) to report your attitudes or beliefs about these topics and give you some information about yourself. We ask these questions because the IAT can be more valuable if you also describe your own self-understanding of the attitude or stereotype that the IAT measures.","anchor":"Take a Test"},{"link":"https://www.act.org/content/act/en/products-and-services/the-act.html","snippet":"The ACT <strong>test</strong> is a curriculum-based education and career planning tool for high school students that assesses the mastery of college readiness standards","anchor":"The ACT Test for Students | ACT"},{"link":"https://play.google.com/store/apps/details?id=org.zwanoo.android.speedtest&hl=en_US","snippet":"Test your download and upload speeds as well as three measures of latency to check a slow connection or use the app to make sure your network is ready for a gaming session. Use real-world data to find out where mobile network coverage is strong and weak for providers in your area with the Speed<strong>test</strong> Maps tab.","anchor":"Speedtest by Ookla - Apps on Google Play"},{"link":"https://speedtest.xfinity.com/","snippet":"Xfinity Speed Test – You need to enable JavaScript to run this app","anchor":"Xfinity Speed Test - Check Your Internet Speed"},{"link":"https://www.ada.org/education/testing/exams/dental-admission-test-dat","snippet":"Find out how to apply for, prepare for, take, and receive scores for the Dental Admission Test (DAT).","anchor":"Dental Admission Test (DAT) | American Dental Association"},{"link":"https://www.16personalities.com/free-personality-test","snippet":"Take our free personality <strong>test</strong> and discover your personality type in 10 minutes. Get a ‘freakishly accurate’ description of who you are and why you do things the way you do.","anchor":"Free personality test | 16Personalities"},{"link":"https://www.faa.gov/uas/recreational_flyers/knowledge_test_updates","snippet":"The law requires that all recreational flyers pass an aeronautical knowledge and safety <strong>test</strong> and provide proof of passage if asked by law enforcement or FAA personnel. The Recreational UAS Safety Test (TRUST) was developed to meet this requirement. TRUST provides education and <strong>test</strong>ing on important safety and regulatory information.","anchor":"The Recreational UAS Safety Test (TRUST) | Federal Aviation ..."}]}

astuce

Pour que les options "Texte initial" et "Texte final" soient disponibles dans l'Éditeur de tâches, vous devez activer "Plus d'options".

Paramètres possibles

note

Paramètres communs pour tous les scrapers

Nom du paramètre	Valeur par défaut	Description
Serp type	`All`	Détermine s'il faut scraper les résultats généraux (All), les actualités (News) ou les vidéos (Videos)
Pages count	`5`	Nombre de pages à scraper (de 1 à 10)
Region	`All regions`	Choix du pays à partir duquel la recherche est effectuée
Display language	`English (United States)`	Possibilité de choisir la langue de l'interface de la page de résultats, pour une identité maximale des résultats entre le scraper et le navigateur
Safe search	`Moderate`	Possibilité d'activer la "Recherche sécurisée"
Search time	`Any`	Période de la SERP (recherche dépendante du temps)
Local results	`On (auto, from IP)`	Recherche locale, valeurs possibles : Off - désactivé, Auto - la localisation est déterminée par l'IP de la requête, Manual - utilise la localisation définie dans `Manual location`
Manual location		Champ pour saisir la localisation exacte, utilisé uniquement si `Local results = Manual`. La localisation doit être indiquée sous forme de paire de coordonnées séparées par une virgule au format latitude,longitude, par exemple : `55.780844,37.6572693`

Présentation du scraper​

Données collectées​

Fonctionnalités​

Cas d'utilisation​

Requêtes​

Substitutions de requêtes​

Utilisation d'opérateurs​

Exemples de sortie de résultats​

Exportation d'une liste de liens​

Liens + ancres + snippets avec affichage de la position​

Sortie des liens, ancres et snippets dans un tableau CSV​

Sauvegarde des mots-clés associés​

Sauvegarde au format SQL​

Dump des résultats en JSON​

Paramètres possibles​

Présentation du scraper

Données collectées

Fonctionnalités

Cas d'utilisation

Requêtes

Substitutions de requêtes

Utilisation d'opérateurs

Exemples de sortie de résultats

Exportation d'une liste de liens

Liens + ancres + snippets avec affichage de la position

Sortie des liens, ancres et snippets dans un tableau CSV

Sauvegarde des mots-clés associés

Sauvegarde au format SQL

Dump des résultats en JSON

Paramètres possibles