Ga naar de hoofdinhoud

SE::Brave - Scraper voor Brave-zoekresultaten

Brave

Overzicht van de scraper​

De Brave zoekresultaten scraper maakt het mogelijk om gegevens te verzamelen uit de snelgroeiende, privacygerichte zoekmachine. Hiermee kunt u lijsten met links verkrijgen die klaar zijn voor verder gebruik. U kunt zoekopdrachten gebruiken op dezelfde manier als u ze in Brave invoert, inclusief zoekoperators.

Dankzij de multithreading-werking van A-Parser kan de verwerkingssnelheid van zoekopdrachten zeer hoog zijn, waardoor grote hoeveelheden gegevens in korte tijd kunnen worden verwerkt.

De functionaliteit van A-Parser stelt u in staat om instellingen voor gegevensextractie op te slaan voor later gebruik (presets), schema's voor gegevensextractie in te stellen en nog veel meer. U kunt query-vermenigvuldiging, subquery-substitutie uit bestanden, het doorlopen van alfanumerieke combinaties en lijsten gebruiken om het maximaal mogelijke aantal resultaten te verkrijgen.

Het opslaan van resultaten is mogelijk in de vorm en structuur die u nodig heeft, dankzij de ingebouwde krachtige sjabloon-engine Template Toolkit waarmee u extra logica op de resultaten kunt toepassen en gegevens in verschillende formaten kunt uitvoeren, waaronder JSON, SQL en CSV.

Verzamelde gegevens​

  • Links, anchors en snippets uit de zoekresultaten, evenals de datum uit de snippet (indien aanwezig)
  • Lijst met gerelateerde trefwoorden (Related keywords)

Mogelijkheden​

  • ondersteuning voor alle Brave zoekoperators (site:, inurl:, enz.)
  • opgave van het aantal pagina's (van 1 tot 10), gemiddeld geeft Brave ongeveer 10 resultaten per pagina
  • opgave van de regio van de zoekresultaten en de interfacetaal van de ontvangen pagina
  • mogelijkheid om nauwkeurige lokale resultaten te ontvangen, ondersteuning voor locatiebepaling via IP of exacte opgave
  • mogelijkheid om het type resultaten te kiezen; naast de standaard organische resultaten kan de Brave scraper ook nieuws of video resultaten verzamelen
  • ondersteunt het opgeven van de tijd van de resultaten (voor alle tijden of voor een specifiek interval van 24 uur tot een jaar)
  • ondersteuning voor sessies

Toepassingen​

  • Verzamelen van linkdatabases - voor XRumer, AllSubmitter, GSA Ranker, enz.
  • SERP-dump met links, anchors en snippets maakt diepgaande analyse mogelijk voor SEO-specialisten en marketeers.
  • Zoeken naar backlinks en vermeldingen van websites
  • Alle andere scenario's waarbij resultaten van zoekmachines moeten worden verkregen voor een onbeperkt aantal zoekopdrachten

Zoekopdrachten​

Als zoekopdrachten moeten zoektermen worden opgegeven, precies zoals u ze rechtstreeks in het Brave-zoekveld zou invoeren, bijvoorbeeld:

auto kopen
ramen in Kiev
site:https://lenta.ru
inurl:guestbook

Zoekopdracht-substituties​

U kunt ingebouwde macro's gebruiken voor query-vermenigvuldiging. Als we bijvoorbeeld een zeer grote database met forums willen verkrijgen, geven we enkele basiszoekopdrachten in verschillende talen op:

forum
forum
foro
论坛

In het query-formaat geven we het doorlopen van tekens van a tot zzzz op. Deze methode maakt het mogelijk om de zoekresultaten maximaal te roteren en veel nieuwe unieke resultaten te verkrijgen:

$query {az:a:zzzz}

Deze macro zal 475254 extra zoekopdrachten maken voor elke oorspronkelijke zoekopdracht, wat in totaal 4 x 475254 = 1901016 zoekopdrachten oplevert. Dit is een indrukwekkend getal, maar geen enkel probleem voor A-Parser. Bij een snelheid van 2000 zoekopdrachten per minuut wordt een dergelijke taak in slechts 16 uur verwerkt.

Gebruik van operators​

U kunt zoekoperators in het query-formaat gebruiken, zodat deze automatisch aan elke zoekopdracht uit uw lijst worden toegevoegd, bijvoorbeeld:

inurl:$query

Voorbeelden van resultaatuitvoer​

A-Parser ondersteunt flexibele formattering van resultaten dankzij de ingebouwde sjabloon-engine Template Toolkit, waardoor resultaten in elke gewenste vorm kunnen worden uitgevoerd, evenals in gestructureerde formaten zoals CSV of JSON.

Export van een lijst met links​

Resultaatformaat:

$serp.format('$link\n')

Voorbeeld van resultaat:

https://www.mobile.de/ru
https://auto.drom.ru/
https://autospot.ru/brands/
https://www.destacar.de/
https://www.autoscout24.de/auto/gebrauchtwagen/bayern/falkenstein/
https://www-autoservice-falkenstein.skoda-auto.de/?e=7
https://auto.ru/
https://www.autohaus-schueler.de/
https://www.avtogermes.ru/sale/
https://falkenstein.seat.de/
...

Resultaatformaat:

[% FOREACH item IN serp;
    loop.count _ ' - ' _ item.link _ ' - ' _ item.anchor _ ' - ' _ item.snippet _ "\n";
END %]

Voorbeeld van resultaat:

1 - https://www.mobile.de/ru - mobile.de: tweedehands auto's — advertenties over ... - mobile.de/ru maakt deel uit van mobile.de, de grootste automarkt van Duitsland. mobile.de vereenvoudigt de aankoop van een auto. Met een eenvoudige zoekopdracht en een paar klikken krijgt u een volledig overzicht van de markt.
2 - https://auto.drom.ru/ - Verkoop van auto's in Rusland. Tweede... - 775 361 advertenties voor de verkoop van auto's. Verkoop van nieuwe en gebruikte auto's vanaf 10.000 roebel. Autodealers en particuliere advertenties.
3 - https://www.destacar.de/ - Auto's uit Duitsland op bestelling | ... - Het bedrijf Destacar staat altijd klaar om u te helpen bij het zoeken, selecteren, inspecteren en kopen van een auto in Duitsland. Wij helpen u bij het kopen van een tweedehands auto in Duitsland, voeren een inspectie en proefrit uit, zodat u volledig zeker bent van de staat van uw auto.
4 - https://autospot.ru/brands/ - Een auto kopen in Moskou: prijzen voor ... - ✸ Autoselectie op basis van parameters in Moskou: prijzen in de Autospot-autocatalogus. ✸ Autocatalogus met prijzen en technische specificaties - verkoop door officiële dealers.
5 - https://www.autoscout24.de/auto/gebrauchtwagen/bayern/falkenstein/ - Gebrauchtwagen Falkenstein: Auto günstig kaufen - Gebrauchtwagen & Jahreswagen in Falkenstein kaufen und verkaufen bei AutoScout24.de - Europas großem Automarkt » Jetzt finden oder inserieren!
6 - https://www-autoservice-falkenstein.skoda-auto.de/?e=7 - ŠKODA Gebrauchtwagen in Falkenstein | Auto-Service Falkenstein GmbH - ŠKODA Gebrauchtwagen in Falkenstein | Auto-Service Falkenstein GmbH ✔ Günstig finanzieren ✔ Beste ŠKODA Vorführwagen und Jahreswagen ✔ ŠKODA gebraucht kaufen ✔ Probefahrt vereinbaren
7 - https://auto.ru/ - Auto.ru: kopen, verkopen en inruilen ... - Deze site functioneert in overeenstemming met de wetgeving van de Russische Federatie en is niet bedoeld voor gebruik in uw regio. Door de site te blijven gebruiken, ...
8 - https://www.autohaus-schueler.de/ - Ihr Audi und VW Autohaus Schüler in Falkenstein - Ihr Autohaus Schüler in Falkenstein, Oelsnitz, Plauen & Wilkau-Hasslau - Wir bieten ein großes Angebot an Neu- und Gebrauchtwagen, Audi & VW Service.
...

Het ingebouwde hulpprogramma $tools.CSVLine maakt het mogelijk om correcte tabeldocumenten te maken, klaar voor import in Excel of Google Sheets.

Algemeen resultaatformaat:

[%  FOREACH item IN p1.serp;
    tools.CSVline(item.link, item.anchor, item.snippet);
END  %]

Bestandsnaam:

$datefile.format().csv

Begintekst:

Link,Anchor,Snippet

Voorbeeld van resultaat:

Link,Anchor,Snippet
https://www.mobile.de/ru,"mobile.de: tweedehands auto's — advertenties over ...","mobile.de/ru maakt deel uit van mobile.de, de grootste automarkt van Duitsland. mobile.de vereenvoudigt de aankoop van een auto. Met een eenvoudige zoekopdracht en een paar klikken krijgt u een volledig overzicht van de markt."
https://auto.drom.ru/,"Verkoop van auto's in Rusland. Tweede...","775 361 advertenties voor de verkoop van auto's. Verkoop van nieuwe en gebruikte auto's vanaf 10.000 roebel. Autodealers en particuliere advertenties."
https://www.destacar.de/,"Auto's uit Duitsland op bestelling | ...","Het bedrijf Destacar staat altijd klaar om u te helpen bij het zoeken, selecteren, inspecteren en kopen van een auto in Duitsland. Wij helpen u bij het kopen van een tweedehands auto in Duitsland, voeren een inspectie en proefrit uit, zodat u volledig zeker bent van de staat van uw auto."
https://autospot.ru/brands/,"Een auto kopen in Moskou: prijzen voor ...","✸ Autoselectie op basis van parameters in Moskou: prijzen in de Autospot-autocatalogus. ✸ Autocatalogus met prijzen en technische specificaties - verkoop door officiële dealers."
https://www.autoscout24.de/auto/gebrauchtwagen/bayern/falkenstein/,"Gebrauchtwagen Falkenstein: Auto günstig kaufen","Gebrauchtwagen & Jahreswagen in Falkenstein kaufen und verkaufen bei AutoScout24.de - Europas großem Automarkt » Jetzt finden oder inserieren!"
https://www-autoservice-falkenstein.skoda-auto.de/?e=7,"ŠKODA Gebrauchtwagen in Falkenstein | Auto-Service Falkenstein GmbH","ŠKODA Gebrauchtwagen in Falkenstein | Auto-Service Falkenstein GmbH ✔ Günstig finanzieren ✔ Beste ŠKODA Vorführwagen und Jahreswagen ✔ ŠKODA gebraucht kaufen ✔ Probefahrt vereinbaren"
https://auto.ru/,"Auto.ru: kopen, verkopen en inruilen ...","Deze site functioneert in overeenstemming met de wetgeving van de Russische Federatie en is niet bedoeld voor gebruik in uw regio. Door de site te blijven gebruiken, ..."
https://www.autohaus-schueler.de/,"Ihr Audi und VW Autohaus Schüler in Falkenstein","Ihr Autohaus Schüler in Falkenstein, Oelsnitz, Plauen & Wilkau-Hasslau - Wir bieten ein großes Angebot an Neu- und Gebrauchtwagen, Audi & VW Service."
...
tip

In het Algemeen resultaatformaat wordt de sjabloon-engine Template Toolkit gebruikt om de array $serp in een FOREACH-lus uit te voeren.

In de bestandsnaam van de resultaten hoeft u alleen de bestandsextensie te wijzigen naar csv.

Om de optie "Prepend text" beschikbaar te maken in de Taakeditor, moet u "More options" activeren. In "Prepend text" schrijven we de kolomnamen gescheiden door een komma en maken we de tweede regel leeg.

Resultaatformaat:

$related.format('$key\n')

Voorbeeld van resultaat:

test speed
ookla speed test
speed test wifi
internet speed test
run speed test
fast speed test
mbps test
test 2
test match
google speed test
...

Opslaan in SQL-formaat​

Resultaatformaat:

[%  FOREACH serp;
    "INSERT INTO serp VALUES('" _ query _ "', '";
    link _ "', '";
    anchor _ "')\n";
END  %]

Voorbeeld van resultaat:

    
INSERT INTO serp VALUES('test', 'https://www.speedtest.net/', 'Speedtest by Ookla - The Global Broadband Speed Test')
INSERT INTO serp VALUES('test', 'https://www.merriam-webster.com/dictionary/test', 'TEST Definition & Meaning - Merriam-Webster')
INSERT INTO serp VALUES('test', 'https://englishtest.duolingo.com/', 'Duolingo English Test')
INSERT INTO serp VALUES('test', 'https://link.springer.com/journal/11749', 'Home | TEST | Springer Nature Link')
INSERT INTO serp VALUES('test', 'https://test.io/', 'Home | Test IO')
INSERT INTO serp VALUES('test', 'https://www.spectrum.com/internet/speed-test', 'Spectrum Internet Speed Test: Broadband Internet Speed Check')
INSERT INTO serp VALUES('test', 'https://fast.com/', 'Internet Speed Test | Fast.com')
INSERT INTO serp VALUES('test', 'https://en.wikipedia.org/wiki/Test', 'Test - Wikipedia')
...

Dump van resultaten naar JSON​

Algemeen resultaatformaat:

[% IF notFirst;
  ",\n";
ELSE;
  notFirst = 1;
END;

obj = {};
obj.results = [];

FOREACH item IN p1.serp;
    obj.results.push({
        link = item.link
        anchor = item.anchor
        snippet = item.snippet
    });
END;

obj.json %]

Begintekst:

[

Eindtekst:

]

Voorbeeld van resultaat:

{"results":[{"link":"https://www.speedtest.net/","snippet":"Use Speed<strong>test</strong> on all your devices with our free desktop and mobile apps.","anchor":"Speedtest by Ookla - The Global Broadband Speed Test"},{"link":"https://www.merriam-webster.com/dictionary/test","snippet":"The meaning of TEST is <strong>a means of testing</strong>. How to use test in a sentence.","anchor":"TEST Definition & Meaning - Merriam-Webster"},{"link":"https://englishtest.duolingo.com/","snippet":"The Duolingo English Test is a fast, affordable online English exam accepted by institutions worldwide. Take it anytime and get results in 2 days","anchor":"Duolingo English Test"},{"link":"https://link.springer.com/journal/11749","snippet":"Journal TEST <strong>focuses on cutting-edge research in all areas of Statistics and Probability with significant theoretical, methodological, and applied impact</strong>. ...","anchor":"Home | TEST | Springer Nature Link"},{"link":"https://test.io/","snippet":"Test IO delivers a full range of web, mobile, and IoT <strong>test</strong>ing, delivered as a service.","anchor":"Home | Test IO"},{"link":"https://www.spectrum.com/internet/speed-test","snippet":"Test your broadband Internet and WiFi speed with the Internet Speed Test. Check your upload and download speeds for your home Internet network.","anchor":"Spectrum Internet Speed Test: Broadband Internet Speed Check"},{"link":"https://fast.com/","snippet":"FAST.com will <strong>test</strong> Internet speed globally on any device (phone, laptop, or smart TV with browser).","anchor":"Internet Speed Test | Fast.com"},{"link":"https://en.wikipedia.org/wiki/Test","snippet":"Look up test, testing, Test, or TEST in Wiktionary, the free dictionary. ... Test (assessment), <strong>an educational assessment intended to measure the respondents&#x27; knowledge or other abilities</strong> ... Test., abbreviation for Testament, referring to the Old Testament and New Testament of the Christian Bible.","anchor":"Test - Wikipedia"},{"link":"https://speed.cloudflare.com/","snippet":"Test your Internet connection. Check your network performance with our Internet speed <strong>test</strong>. Powered by Cloudflare&#x27;s global edge network.","anchor":"Internet Speed Test - Measure Network Performance | Cloudflare"},{"link":"https://testmy.net/","snippet":"TestMy.net is a powerful broadband speed <strong>test</strong> that will <strong>test</strong> your Internet, calculate your transfer rate and output accurate, reliable and easy to understand results. TestMy.net is an independent third party and is not affiliated with your Internet service provider.","anchor":"Internet Speed Test"},{"link":"https://www.livechat.com/typing-speed-test/","snippet":"The faster you type, the faster you communicate with others. With our free typing speed <strong>test</strong>, you can check your WPM and CPM typing scores in a flash!","anchor":"Free Typing Test - Check Your Typing Speed in 60 Seconds | LiveChat ..."},{"link":"https://fiber.google.com/speedtest/","snippet":"Test your current internet speed, and find out how fast your broadband wi-fi handles uploads and downloads. See Google Fiber plan options for faster internet.","anchor":"Internet Speed Test | Check Broadband Speed | Google Fiber"},{"link":"https://zoom.us/test","snippet":"Preview your next Zoom Meeting using out <strong>test</strong> meeting tool to check your settings and display.","anchor":"Join a Test Meeting | Zoom"},{"link":"https://implicit.harvard.edu/implicit/takeatest.html","snippet":"On the next page, you&#x27;ll be asked to select an Implicit Association Test (IAT) from a list of possible topics. We&#x27;ll also ask you (optionally) to report your attitudes or beliefs about these topics and give you some information about yourself. We ask these questions because the IAT can be more valuable if you also describe your own self-understanding of the attitude or stereotype that the IAT measures.","anchor":"Take a Test"},{"link":"https://www.act.org/content/act/en/products-and-services/the-act.html","snippet":"The ACT <strong>test</strong> is a curriculum-based education and career planning tool for high school students that assesses the mastery of college readiness standards","anchor":"The ACT Test for Students | ACT"},{"link":"https://play.google.com/store/apps/details?id=org.zwanoo.android.speedtest&hl=en_US","snippet":"Test your download and upload speeds as well as three measures of latency to check a slow connection or use the app to make sure your network is ready for a gaming session. Use real-world data to find out where mobile network coverage is strong and weak for providers in your area with the Speed<strong>test</strong> Maps tab.","anchor":"Speedtest by Ookla - Apps on Google Play"},{"link":"https://speedtest.xfinity.com/","snippet":"Xfinity Speed Test – You need to enable JavaScript to run this app","anchor":"Xfinity Speed Test - Check Your Internet Speed"},{"link":"https://www.ada.org/education/testing/exams/dental-admission-test-dat","snippet":"Find out how to apply for, prepare for, take, and receive scores for the Dental Admission Test (DAT).","anchor":"Dental Admission Test (DAT) | American Dental Association"},{"link":"https://www.16personalities.com/free-personality-test","snippet":"Take our free personality <strong>test</strong> and discover your personality type in 10 minutes. Get a ‘freakishly accurate’ description of who you are and why you do things the way you do.","anchor":"Free personality test | 16Personalities"},{"link":"https://www.faa.gov/uas/recreational_flyers/knowledge_test_updates","snippet":"The law requires that all recreational flyers pass an aeronautical knowledge and safety <strong>test</strong> and provide proof of passage if asked by law enforcement or FAA personnel. The Recreational UAS Safety Test (TRUST) was developed to meet this requirement. TRUST provides education and <strong>test</strong>ing on important safety and regulatory information.","anchor":"The Recreational UAS Safety Test (TRUST) | Federal Aviation ..."}]}
tip

Om de opties "Prepend text" en "Append text" beschikbaar te maken in de Taakeditor, moet u "More options" activeren.

Mogelijke instellingen​

opmerking

Algemene instellingen voor alle scrapers

ParameternaamStandaardwaardeBeschrijving
Serp typeAllBepaalt of de algemene resultaten (All), nieuws (News) of video's (Videos) moeten worden gescraped
Pages count5Aantal pagina's voor gegevensextractie (van 1 tot 10)
RegionAll regionsKeuze van het land van waaruit de zoekopdracht wordt uitgevoerd
Display languageEnglish (United States)Mogelijkheid om de interfacetaal van de resultatenpagina te kiezen, voor maximale identiteit van de resultaten in de scraper en in de browser
Safe searchModerateMogelijkheid om "Safe search" in te schakelen
Search timeAnyTijd van de SERP (tijdsafhankelijk zoeken)
Local resultsOn (auto, from IP)Lokaal zoeken, mogelijke waarden: Off - uitgeschakeld, Auto - locatie wordt bepaald op basis van het IP van de aanvraag, Manual - de locatie opgegeven in Manual location wordt gebruikt
Manual locationVeld voor het invoeren van de exacte locatie, alleen gebruikt bij Local results = Manual. De locatie moet worden opgegeven als een paar coördinaten gescheiden door een komma in het formaat breedtegraad,lengtegraad, bijvoorbeeld: 55.780844,37.6572693