Zum Hauptinhalt springen

SE::Brave - Brave SERP Parser

Brave

Übersicht über den Parser​

Der Parser für die Brave-Suchergebnisse ermöglicht es Ihnen, Daten aus der schnell wachsenden, datenschutzorientierten Suchmaschine zu sammeln. Dank ihm können Sie Link-Datenbanken erhalten, die für die weitere Verwendung bereit sind. Sie können Abfragen in derselben Form verwenden, in der Sie sie in Brave eingeben, einschließlich Suchoperatoren.

Dank der Multithreading-Arbeit von A-Parser kann die Verarbeitungsgeschwindigkeit von Abfragen sehr hoch sein, was es ermöglicht, große Datenmengen in kurzer Zeit zu verarbeiten.

Die Funktionalität von A-Parser ermöglicht es, Einstellungen für die Datenerfassung für die spätere Verwendung zu speichern (Presets), Zeitpläne für die Datenerfassung festzulegen und vieles mehr. Sie können Abfrage-Multiplikation, die Substitution von Unterabfragen aus Dateien, das Durchlaufen von alphanumerischen Kombinationen und Listen verwenden, um die maximal mögliche Anzahl an Ergebnissen zu erhalten.

Das Speichern der Ergebnisse ist in der Form und Struktur möglich, die Sie benötigen, dank des integrierten leistungsstarken Template-Engines Template Toolkit, der es ermöglicht, zusätzliche Logik auf die Ergebnisse anzuwenden und Daten in verschiedenen Formaten auszugeben, einschließlich JSON, SQL und CSV.

Gesammelte Daten​

  • Links, Anker und Snippets aus den Suchergebnissen sowie das Datum aus dem Snippet (falls vorhanden)
  • Liste verwandter Keywords (Related keywords)

Funktionen​

  • Unterstützung aller Suchoperatoren von Brave (site:, inurl: usw.)
  • Angabe der Seitenanzahl (von 1 bis 10), im Durchschnitt liefert Brave etwa 10 Ergebnisse pro Seite
  • Angabe der Region der Suchergebnisse und der Interface-Sprache der erhaltenen Seite
  • Möglichkeit, präzise lokale Suchergebnisse zu erhalten; unterstützt wird die Standortbestimmung per IP oder genaue Angabe
  • Möglichkeit zur Auswahl des Typs der Suchergebnisse: Neben den organischen Haupt-Suchergebnissen kann der Brave-Parser auch News- oder Video-Ergebnisse sammeln
  • Unterstützt die Angabe des Zeitpunkts der Suchergebnisse (für den gesamten Zeitraum oder für ein bestimmtes Intervall von 24 Stunden bis zu einem Jahr)
  • Unterstützung von Sitzungen

Anwendungsfälle​

  • Erstellung von Link-Datenbanken - für XRumer, AllSubmitter, GSA Ranker usw.
  • SERP-Dump, der Links, Anker und Snippets enthält, ermöglicht SEO-Spezialisten und Vermarktern eine tiefgehende Analyse.
  • Suche nach Backlinks und Erwähnungen von Websites
  • Alle anderen Varianten, die den Erhalt von Suchergebnissen für eine unbegrenzte Anzahl von Abfragen beinhalten

Abfragen​

Als Abfragen müssen Suchbegriffe so angegeben werden, wie sie direkt in das Brave-Suchformular eingegeben würden, zum Beispiel:

Auto kaufen
Fenster in Kiew
site:https://lenta.ru
inurl:guestbook

Abfrage-Substitutionen​

Sie können integrierte Makros zur Abfrage-Multiplikation verwenden. Wenn wir beispielsweise eine sehr große Datenbank mit Foren erhalten möchten, geben wir mehrere Hauptabfragen in verschiedenen Sprachen an:

forum
Forum
foro
论坛

Im Abfrageformat geben wir das Durchlaufen von Zeichen von a bis zzzz an. Diese Methode ermöglicht es, die Suchergebnisse maximal zu rotieren und viele neue, einzigartige Ergebnisse zu erhalten:

$query {az:a:zzzz}

Dieses Makro erstellt 475254 zusätzliche Abfragen für jede ursprüngliche Suchanfrage, was insgesamt 4 x 475254 = 1901016 Suchanfragen ergibt. Eine beeindruckende Zahl, aber für A-Parser absolut kein Problem. Bei einer Geschwindigkeit von 2000 Abfragen pro Minute wird eine solche Aufgabe in nur 16 Stunden abgearbeitet.

Verwendung von Operatoren​

Sie können Suchoperatoren im Abfrageformat verwenden, sodass diese automatisch zu jeder Abfrage aus Ihrer Liste hinzugefügt werden, zum Beispiel:

inurl:$query

Ausgabebeispiele für Ergebnisse​

A-Parser unterstützt eine flexible Formatierung der Ergebnisse dank des integrierten Template-Engines Template Toolkit, was es ermöglicht, Ergebnisse in beliebiger Form sowie strukturiert auszugeben, zum Beispiel als CSV oder JSON

Export einer Linkliste​

Ergebnisformat:

$serp.format('$link\n')

Beispielergebnis:

https://www.mobile.de/ru
https://auto.drom.ru/
https://autospot.ru/brands/
https://www.destacar.de/
https://www.autoscout24.de/auto/gebrauchtwagen/bayern/falkenstein/
https://www-autoservice-falkenstein.skoda-auto.de/?e=7
https://auto.ru/
https://www.autohaus-schueler.de/
https://www.avtogermes.ru/sale/
https://falkenstein.seat.de/
...

Ergebnisformat:

[% FOREACH item IN serp;
    loop.count _ ' - ' _ item.link _ ' - ' _ item.anchor _ ' - ' _ item.snippet _ "\n";
END %]

Beispielergebnis:

1 - https://www.mobile.de/ru - mobile.de: Gebrauchtwagen — Anzeigen über ... - mobile.de/ru ist Teil von mobile.de, dem größten Fahrzeugmarkt Deutschlands. mobile.de vereinfacht den Autokauf. Mit einer einfachen Suche und wenigen Klicks erhalten Sie einen vollständigen Marktüberblick.
2 - https://auto.drom.ru/ - Verkauf von Autos in Russland. Gebraucht... - 775 361 Anzeigen zum Autoverkauf. Verkauf von Neu- und Gebrauchtwagen ab 10.000 Rubel. Autohäuser und Privatanzeigen.
3 - https://www.destacar.de/ - Autos aus Deutschland auf Bestellung | ... - Die Firma Destacar ist immer bereit, Ihnen bei der Suche, Auswahl, Besichtigung und dem Kauf eines Autos in Deutschland zu helfen. Wir helfen Ihnen, einen Gebrauchtwagen in Deutschland zu kaufen, führen eine Besichtigung und Testfahrt durch, damit Sie sich über den Zustand Ihres Autos vollkommen sicher sind.
4 - https://autospot.ru/brands/ - Auto kaufen in Moskau: Preise für ... - ✸ Auto-Auswahl nach Parametern in Moskau: Preise im Autokatalog Autospot. ✸ Autokatalog mit Preisen und technischen Daten - Verkauf durch offizielle Händler.
5 - https://www.autoscout24.de/auto/gebrauchtwagen/bayern/falkenstein/ - Gebrauchtwagen Falkenstein: Auto günstig kaufen - Gebrauchtwagen & Jahreswagen in Falkenstein kaufen und verkaufen bei AutoScout24.de - Europas großem Automarkt » Jetzt finden oder inserieren!
6 - https://www-autoservice-falkenstein.skoda-auto.de/?e=7 - ŠKODA Gebrauchtwagen in Falkenstein | Auto-Service Falkenstein GmbH - ŠKODA Gebrauchtwagen in Falkenstein | Auto-Service Falkenstein GmbH ✔ Günstig finanzieren ✔ Beste ŠKODA Vorführwagen und Jahreswagen ✔ ŠKODA gebraucht kaufen ✔ Probefahrt vereinbaren
7 - https://auto.ru/ - Auto.ru: kaufen, verkaufen und tauschen ... - Diese Website wird gemäß der Gesetzgebung der Russischen Föderation betrieben und ist nicht für die Nutzung in Ihrer Region bestimmt. Durch die weitere Nutzung der Website ...
8 - https://www.autohaus-schueler.de/ - Ihr Audi und VW Autohaus Schüler in Falkenstein - Ihr Autohaus Schüler in Falkenstein, Oelsnitz, Plauen & Wilkau-Hasslau - Wir bieten ein großes Angebot an Neu- und Gebrauchtwagen, Audi & VW Service.
...

Das integrierte Tool $tools.CSVLine ermöglicht es, korrekte Tabellendokumente zu erstellen, die für den Import in Excel oder Google Tabellen bereit sind.

Allgemeines Ergebnisformat:

[%  FOREACH item IN p1.serp;
    tools.CSVline(item.link, item.anchor, item.snippet);
END  %]

Dateiname:

$datefile.format().csv

Anfangstext:

Link,Anker,Snippet

Beispielergebnis:

Link,Anker,Snippet
https://www.mobile.de/ru,"mobile.de: Gebrauchtwagen — Anzeigen über ...","mobile.de/ru ist Teil von mobile.de, dem größten Fahrzeugmarkt Deutschlands. mobile.de vereinfacht den Autokauf. Mit einer einfachen Suche und wenigen Klicks erhalten Sie einen vollständigen Marktüberblick."
https://auto.drom.ru/,"Verkauf von Autos in Russland. Gebraucht...","775 361 Anzeigen zum Autoverkauf. Verkauf von Neu- und Gebrauchtwagen ab 10.000 Rubel. Autohäuser und Privatanzeigen."
https://www.destacar.de/,"Autos aus Deutschland auf Bestellung | ...","Die Firma Destacar ist immer bereit, Ihnen bei der Suche, Auswahl, Besichtigung und dem Kauf eines Autos in Deutschland zu helfen. Wir helfen Ihnen, einen Gebrauchtwagen in Deutschland zu kaufen, führen eine Besichtigung und Testfahrt durch, damit Sie sich über den Zustand Ihres Autos vollkommen sicher sind."
https://autospot.ru/brands/,"Auto kaufen in Moskau: Preise für ...","✸ Auto-Auswahl nach Parametern in Moskau: Preise im Autokatalog Autospot. ✸ Autokatalog mit Preisen und technischen Daten - Verkauf durch offizielle Händler."
https://www.autoscout24.de/auto/gebrauchtwagen/bayern/falkenstein/,"Gebrauchtwagen Falkenstein: Auto günstig kaufen","Gebrauchtwagen & Jahreswagen in Falkenstein kaufen und verkaufen bei AutoScout24.de - Europas großem Automarkt » Jetzt finden oder inserieren!"
https://www-autoservice-falkenstein.skoda-auto.de/?e=7,"ŠKODA Gebrauchtwagen in Falkenstein | Auto-Service Falkenstein GmbH","ŠKODA Gebrauchtwagen in Falkenstein | Auto-Service Falkenstein GmbH ✔ Günstig finanzieren ✔ Beste ŠKODA Vorführwagen und Jahreswagen ✔ ŠKODA gebraucht kaufen ✔ Probefahrt vereinbaren"
https://auto.ru/,"Auto.ru: kaufen, verkaufen und tauschen ...","Diese Website wird gemäß der Gesetzgebung der Russischen Föderation betrieben und ist nicht für die Nutzung in Ihrer Region bestimmt. Durch die weitere Nutzung der Website ..."
https://www.autohaus-schueler.de/,"Ihr Audi und VW Autohaus Schüler in Falkenstein","Ihr Autohaus Schüler in Falkenstein, Oelsnitz, Plauen & Wilkau-Hasslau - Wir bieten ein großes Angebot an Neu- und Gebrauchtwagen, Audi & VW Service."
...
Tipp

Im Allgemeinen Ergebnisformat wird der Template Toolkit Template-Engine verwendet, um das Array $serp in einer FOREACH-Schleife auszugeben.

Im Dateinamen der Ergebnisse müssen Sie lediglich die Dateiendung in csv ändern.

Damit die Option "Anfangstext" im Task-Editor verfügbar ist, müssen Sie "Mehr Optionen" aktivieren. In den "Anfangstext" schreiben wir die Spaltennamen durch Kommas getrennt und lassen die zweite Zeile leer.

Ergebnisformat:

$related.format('$key\n')

Beispielergebnis:

test speed
ookla speed test
speed test wifi
internet speed test
run speed test
fast speed test
mbps test
test 2
test match
google speed test
...

Speichern im SQL-Format​

Ergebnisformat:

[%  FOREACH serp;
    "INSERT INTO serp VALUES('" _ query _ "', '";
    link _ "', '";
    anchor _ "')\n";
END  %]

Beispielergebnis:

    
INSERT INTO serp VALUES('test', 'https://www.speedtest.net/', 'Speedtest by Ookla - The Global Broadband Speed Test')
INSERT INTO serp VALUES('test', 'https://www.merriam-webster.com/dictionary/test', 'TEST Definition & Meaning - Merriam-Webster')
INSERT INTO serp VALUES('test', 'https://englishtest.duolingo.com/', 'Duolingo English Test')
INSERT INTO serp VALUES('test', 'https://link.springer.com/journal/11749', 'Home | TEST | Springer Nature Link')
INSERT INTO serp VALUES('test', 'https://test.io/', 'Home | Test IO')
INSERT INTO serp VALUES('test', 'https://www.spectrum.com/internet/speed-test', 'Spectrum Internet Speed Test: Broadband Internet Speed Check')
INSERT INTO serp VALUES('test', 'https://fast.com/', 'Internet Speed Test | Fast.com')
INSERT INTO serp VALUES('test', 'https://en.wikipedia.org/wiki/Test', 'Test - Wikipedia')
...

Dump der Ergebnisse in JSON​

Allgemeines Ausgabeformat:

[% IF notFirst;
  ",\n";
ELSE;
  notFirst = 1;
END;

obj = {};
obj.results = [];

FOREACH item IN p1.serp;
    obj.results.push({
        link = item.link
        anchor = item.anchor
        snippet = item.snippet
    });
END;

obj.json %]

Anfangstext:

[

Endtext:

]

Beispielergebnis:

{"results":[{"link":"https://www.speedtest.net/","snippet":"Use Speed<strong>test</strong> on all your devices with our free desktop and mobile apps.","anchor":"Speedtest by Ookla - The Global Broadband Speed Test"},{"link":"https://www.merriam-webster.com/dictionary/test","snippet":"The meaning of TEST is <strong>a means of testing</strong>. How to use test in a sentence.","anchor":"TEST Definition & Meaning - Merriam-Webster"},{"link":"https://englishtest.duolingo.com/","snippet":"The Duolingo English Test is a fast, affordable online English exam accepted by institutions worldwide. Take it anytime and get results in 2 days","anchor":"Duolingo English Test"},{"link":"https://link.springer.com/journal/11749","snippet":"Journal TEST <strong>focuses on cutting-edge research in all areas of Statistics and Probability with significant theoretical, methodological, and applied impact</strong>. ...","anchor":"Home | TEST | Springer Nature Link"},{"link":"https://test.io/","snippet":"Test IO delivers a full range of web, mobile, and IoT <strong>test</strong>ing, delivered as a service.","anchor":"Home | Test IO"},{"link":"https://www.spectrum.com/internet/speed-test","snippet":"Test your broadband Internet and WiFi speed with the Internet Speed Test. Check your upload and download speeds for your home Internet network.","anchor":"Spectrum Internet Speed Test: Broadband Internet Speed Check"},{"link":"https://fast.com/","snippet":"FAST.com will <strong>test</strong> Internet speed globally on any device (phone, laptop, or smart TV with browser).","anchor":"Internet Speed Test | Fast.com"},{"link":"https://en.wikipedia.org/wiki/Test","snippet":"Look up test, testing, Test, or TEST in Wiktionary, the free dictionary. ... Test (assessment), <strong>an educational assessment intended to measure the respondents&#x27; knowledge or other abilities</strong> ... Test., abbreviation for Testament, referring to the Old Testament and New Testament of the Christian Bible.","anchor":"Test - Wikipedia"},{"link":"https://speed.cloudflare.com/","snippet":"Test your Internet connection. Check your network performance with our Internet speed <strong>test</strong>. Powered by Cloudflare&#x27;s global edge network.","anchor":"Internet Speed Test - Measure Network Performance | Cloudflare"},{"link":"https://testmy.net/","snippet":"TestMy.net is a powerful broadband speed <strong>test</strong> that will <strong>test</strong> your Internet, calculate your transfer rate and output accurate, reliable and easy to understand results. TestMy.net is an independent third party and is not affiliated with your Internet service provider.","anchor":"Internet Speed Test"},{"link":"https://www.livechat.com/typing-speed-test/","snippet":"The faster you type, the faster you communicate with others. With our free typing speed <strong>test</strong>, you can check your WPM and CPM typing scores in a flash!","anchor":"Free Typing Test - Check Your Typing Speed in 60 Seconds | LiveChat ..."},{"link":"https://fiber.google.com/speedtest/","snippet":"Test your current internet speed, and find out how fast your broadband wi-fi handles uploads and downloads. See Google Fiber plan options for faster internet.","anchor":"Internet Speed Test | Check Broadband Speed | Google Fiber"},{"link":"https://zoom.us/test","snippet":"Preview your next Zoom Meeting using out <strong>test</strong> meeting tool to check your settings and display.","anchor":"Join a Test Meeting | Zoom"},{"link":"https://implicit.harvard.edu/implicit/takeatest.html","snippet":"On the next page, you&#x27;ll be asked to select an Implicit Association Test (IAT) from a list of possible topics. We&#x27;ll also ask you (optionally) to report your attitudes or beliefs about these topics and give you some information about yourself. We ask these questions because the IAT can be more valuable if you also describe your own self-understanding of the attitude or stereotype that the IAT measures.","anchor":"Take a Test"},{"link":"https://www.act.org/content/act/en/products-and-services/the-act.html","snippet":"The ACT <strong>test</strong> is a curriculum-based education and career planning tool for high school students that assesses the mastery of college readiness standards","anchor":"The ACT Test for Students | ACT"},{"link":"https://play.google.com/store/apps/details?id=org.zwanoo.android.speedtest&hl=en_US","snippet":"Test your download and upload speeds as well as three measures of latency to check a slow connection or use the app to make sure your network is ready for a gaming session. Use real-world data to find out where mobile network coverage is strong and weak for providers in your area with the Speed<strong>test</strong> Maps tab.","anchor":"Speedtest by Ookla - Apps on Google Play"},{"link":"https://speedtest.xfinity.com/","snippet":"Xfinity Speed Test – You need to enable JavaScript to run this app","anchor":"Xfinity Speed Test - Check Your Internet Speed"},{"link":"https://www.ada.org/education/testing/exams/dental-admission-test-dat","snippet":"Find out how to apply for, prepare for, take, and receive scores for the Dental Admission Test (DAT).","anchor":"Dental Admission Test (DAT) | American Dental Association"},{"link":"https://www.16personalities.com/free-personality-test","snippet":"Take our free personality <strong>test</strong> and discover your personality type in 10 minutes. Get a ‘freakishly accurate’ description of who you are and why you do things the way you do.","anchor":"Free personality test | 16Personalities"},{"link":"https://www.faa.gov/uas/recreational_flyers/knowledge_test_updates","snippet":"The law requires that all recreational flyers pass an aeronautical knowledge and safety <strong>test</strong> and provide proof of passage if asked by law enforcement or FAA personnel. The Recreational UAS Safety Test (TRUST) was developed to meet this requirement. TRUST provides education and <strong>test</strong>ing on important safety and regulatory information.","anchor":"The Recreational UAS Safety Test (TRUST) | Federal Aviation ..."}]}
Tipp

Damit die Optionen "Anfangstext" und "Endtext" im Task-Editor verfügbar sind, müssen Sie "Mehr Optionen" aktivieren.

Mögliche Einstellungen​

Hinweis

Allgemeine Einstellungen für alle Scraper

Name des ParametersStandardwertBeschreibung
Serp typeAllLegt fest, ob die allgemeinen Suchergebnisse (All), News (News) oder Videos (Videos) erfasst werden sollen
Pages count5Anzahl der zu erfassenden Seiten (von 1 bis 10)
RegionAll regionsAuswahl des Landes, von dem aus die Suche durchgeführt wird
Display languageEnglish (United States)Möglichkeit zur Auswahl der Interface-Sprache der Ergebnisseite für maximale Identität der Ergebnisse zwischen Parser und Browser
Safe searchModerateMöglichkeit, die "Sichere Suche" zu aktivieren
Search timeAnyZeit der SERP (zeitabhängige Suche)
Local resultsOn (auto, from IP)Lokale Suche, mögliche Werte: Off - deaktiviert, Auto - Standort wird anhand der IP der Anfrage bestimmt, Manual - es wird der in Manual location angegebene Standort verwendet
Manual locationFeld zur Eingabe des genauen Standorts, wird nur verwendet, wenn Local results = Manual. Der Standort muss als Koordinatenpaar durch Komma getrennt im Format Breitengrad,Längengrad angegeben werden, zum Beispiel: 55.780844,37.6572693