SE::Brave - Scraper för Brave sökresultat

Översikt av scrapern

Scrapern för Brave sökresultat gör det möjligt att samla in data från det snabbväxande, integritetsfokuserade söksystemet. Tack vare den kan du få listor med länkar redo för vidare användning. Du kan använda sökfrågor på samma sätt som du skriver in dem i Brave, inklusive sökoperatorer.

Tack vare flertrådning i A-Parser kan hastigheten på bearbetningen av sökfrågor vara mycket hög, vilket gör det möjligt att hantera stora datamängder på kort tid.

Funktionaliteten i A-Parser gör det möjligt att spara inställningar för dataskrapning för framtida bruk (förinställningar), schemalägga dataskrapning och mycket mer. Du kan använda sökfrågemultiplikation, infogning av undersökfrågor från filer, generering av alfanumeriska kombinationer och listor för att få största möjliga antal resultat.

Resultaten kan sparas i det format och den struktur du behöver, tack vare den inbyggda kraftfulla mallmotorn Template Toolkit som gör det möjligt att tillämpa ytterligare logik på resultaten och exportera data i olika format, inklusive JSON, SQL och CSV.

Gå till DEMO Köp A-Parser Pro ($299)

Data som samlas in

Länkar, ankare och snippets från sökresultaten, samt datum från snippet (om tillgängligt)
Lista över relaterade sökord (Related keywords)

Funktioner

stöd för alla sökoperatorer i Brave (site:, inurl: osv.)
ange antal sidor (från 1 till 10), i genomsnitt ger en sida i Brave cirka 10 resultat
ange region för sökresultat och gränssnittsspråk för den mottagna sidan
möjlighet att få exakta lokala sökresultat, stöd för platsbestämning via IP eller exakt angivelse
möjlighet att välja typ av sökresultat; förutom vanliga organiska resultat kan Brave-scrapern samla in nyheter eller videor
stöder angivelse av tidsintervall för resultat (all tid eller ett specifikt intervall från 24 timmar till ett år)
stöd för sessioner

Användningsfall

Insamling av länkdatabaser - för XRumer, AllSubmitter, GSA Ranker osv.
Dumpning av SERP, inklusive länkar, ankare och snippets, möjliggör djupanalys för SEO-specialister och marknadsförare.
Sökning efter backlänkar och omnämnanden av webbplatser
Alla andra scenarier som innebär att man hämtar sökresultat för ett obegränsat antal sökfrågor

Sökfrågor

Som sökfrågor ska du ange sökfraser på exakt samma sätt som om du skrev in dem direkt i Braves sökfält, till exempel:

köpa bil
fönster i Stockholm
site:https://lenta.ru
inurl:guestbook

Sökfrågemakron

Du kan använda inbyggda makron för att multiplicera sökfrågor. Om vi till exempel vill få en mycket stor databas med forum, anger vi några huvudsökfrågor på olika språk:

forum
forum
foro
论坛

I sökfrågeformatet anger vi en genomgång av tecken från a till zzzz. Denna metod gör det möjligt att rotera sökresultaten maximalt och få många nya unika resultat:

$query {az:a:zzzz}

Detta makro kommer att skapa 475254 ytterligare sökfrågor för varje ursprunglig sökfråga, vilket totalt ger 4 x 475254 = 1901016 sökfrågor. Siffran är imponerande, men det är inget problem för A-Parser. Med en hastighet på 2000 sökfrågor per minut kommer en sådan uppgift att bearbetas på bara 16 timmar.

Användning av operatorer

Du kan använda sökoperatorer i sökfrågeformatet, så att de automatiskt läggs till i varje sökfråga från din lista, till exempel:

inurl:$query

Exempel på resultatutmatning

A-Parser stöder flexibel formatering av resultat tack vare den inbyggda mallmotorn Template Toolkit, vilket gör att den kan mata ut resultat i valfri form, såväl som i strukturerad form som CSV eller JSON.

Export av länklista

Resultatformat:

$serp.format('$link\n')

Exempel på resultat:

https://www.mobile.de/ru
https://auto.drom.ru/
https://autospot.ru/brands/
https://www.destacar.de/
https://www.autoscout24.de/auto/gebrauchtwagen/bayern/falkenstein/
https://www-autoservice-falkenstein.skoda-auto.de/?e=7
https://auto.ru/
https://www.autohaus-schueler.de/
https://www.avtogermes.ru/sale/
https://falkenstein.seat.de/
...

Länkar + ankare + snippets med position

Resultatformat:

[% FOREACH item IN serp;
    loop.count _ ' - ' _ item.link _ ' - ' _ item.anchor _ ' - ' _ item.snippet _ "\n";
END %]

Exempel på resultat:

- https://www.mobile.de/ru - mobile.de: begagnade bilar — annonser om ... - mobile.de/ru är en del av mobile.de, Tysklands största bilmarknad. mobile.de förenklar bilköpet. Med en enkel sökning och några klick får du en fullständig överblick över marknaden.
- https://auto.drom.ru/ - Försäljning av bilar i Ryssland. Begagnade... - 775 361 annonser om bilförsäljning. Försäljning av nya och begagnade bilar från 10 000 rubel. Bilhandlare och privata annonser.
- https://www.destacar.de/ - Bilar från Tyskland på beställning | ... - Företaget Destacar är alltid redo att hjälpa dig med sökning, urval, inspektion och köp av bil i Tyskland. Vi hjälper dig att köpa en begagnad bil i Tyskland, utför inspektion och provkörning så att du kan vara helt säker på din bils skick.
- https://autospot.ru/brands/ - Köp bil i Moskva: priser på ... - ✸ Urval av bilar efter parametrar i Moskva: priser i Autospots bilkatalog. ✸ Bilkatalog med priser och tekniska specifikationer - försäljning från officiella återförsäljare.
- https://www.autoscout24.de/auto/gebrauchtwagen/bayern/falkenstein/ - Gebrauchtwagen Falkenstein: Auto günstig kaufen - Gebrauchtwagen &amp; Jahreswagen in Falkenstein kaufen und verkaufen bei AutoScout24.de - Europas großem Automarkt » Jetzt finden oder inserieren!
- https://www-autoservice-falkenstein.skoda-auto.de/?e=7 - ŠKODA Gebrauchtwagen in Falkenstein | Auto-Service Falkenstein GmbH - ŠKODA Gebrauchtwagen in Falkenstein | Auto-Service Falkenstein GmbH ✔ Günstig finanzieren ✔ Beste ŠKODA Vorführwagen und Jahreswagen ✔ ŠKODA gebraucht kaufen ✔ Probefahrt vereinbaren
- https://auto.ru/ - Auto.ru: köp, sälj och byt ... - Denna webbplats fungerar i enlighet med Ryska federationens lagstiftning och är inte avsedd för användning i din region. Genom att fortsätta använda webbplatsen, ...
- https://www.autohaus-schueler.de/ - Ihr Audi und VW Autohaus Schüler in Falkenstein - Ihr Autohaus Schüler in Falkenstein, Oelsnitz, Plauen &amp; Wilkau-Hasslau - Wir bieten ein großes Angebot an Neu- und Gebrauchtwagen, Audi &amp; VW Service.
...

Export av länkar, ankare och snippets till en CSV-tabell

Det inbyggda verktyget $tools.CSVLine gör det möjligt att skapa korrekta tabelldokument, redo för import till Excel eller Google Kalkylark.

Allmänt resultatformat:

[%  FOREACH item IN p1.serp;
    tools.CSVline(item.link, item.anchor, item.snippet);
END  %]

Filnamn:

$datefile.format().csv

Starttext:

Länk,Ankare,Snippet

Exempel på resultat:

Länk,Ankare,Snippet
https://www.mobile.de/ru,"mobile.de: begagnade bilar — annonser om ...","mobile.de/ru är en del av mobile.de, Tysklands största bilmarknad. mobile.de förenklar bilköpet. Med en enkel sökning och några klick får du en fullständig överblick över marknaden."
https://auto.drom.ru/,"Försäljning av bilar i Ryssland. Begagnade...","775 361 annonser om bilförsäljning. Försäljning av nya och begagnade bilar från 10 000 rubel. Bilhandlare och privata annonser."
https://www.destacar.de/,"Bilar från Tyskland på beställning | ...","Företaget Destacar är alltid redo att hjälpa dig med sökning, urval, inspektion och köp av bil i Tyskland. Vi hjälper dig att köpa en begagnad bil i Tyskland, utför inspektion och provkörning så att du kan vara helt säker på din bils skick."
https://autospot.ru/brands/,"Köp bil i Moskva: priser på ...","✸ Urval av bilar efter parametrar i Moskva: priser i Autospots bilkatalog. ✸ Bilkatalog med priser och tekniska specifikationer - försäljning från officiella återförsäljare."
https://www.autoscout24.de/auto/gebrauchtwagen/bayern/falkenstein/,"Gebrauchtwagen Falkenstein: Auto günstig kaufen","Gebrauchtwagen &amp; Jahreswagen in Falkenstein kaufen und verkaufen bei AutoScout24.de - Europas großem Automarkt » Jetzt finden oder inserieren!"
https://www-autoservice-falkenstein.skoda-auto.de/?e=7,"ŠKODA Gebrauchtwagen in Falkenstein | Auto-Service Falkenstein GmbH","ŠKODA Gebrauchtwagen in Falkenstein | Auto-Service Falkenstein GmbH ✔ Günstig finanzieren ✔ Beste ŠKODA Vorführwagen und Jahreswagen ✔ ŠKODA gebraucht kaufen ✔ Probefahrt vereinbaren"
https://auto.ru/,"Auto.ru: köp, sälj och byt ...","Denna webbplats fungerar i enlighet med Ryska federationens lagstiftning och är inte avsedd för användning i din region. Genom att fortsätta använda webbplatsen, ..."
https://www.autohaus-schueler.de/,"Ihr Audi und VW Autohaus Schüler in Falkenstein","Ihr Autohaus Schüler in Falkenstein, Oelsnitz, Plauen &amp; Wilkau-Hasslau - Wir bieten ein großes Angebot an Neu- und Gebrauchtwagen, Audi &amp; VW Service."
...

tips

I Allmänt resultatformat används mallmotorn Template Toolkit för att mata ut arrayen $serp i en FOREACH-loop.

I filnamnet för resultaten behöver du bara ändra filtillägget till csv.

För att alternativet "Prepend text" ska vara tillgängligt i Task Editor, måste du aktivera "More options". I "Prepend text" skriver vi kolumnnamnen separerade med kommatecken och gör den andra raden tom.

Resultatformat:

$related.format('$key\n')

Exempel på resultat:

test speed
ookla speed test
speed test wifi
internet speed test
run speed test
fast speed test
mbps test
test 2
test match
google speed test
...

Spara i SQL-format

Resultatformat:

[%  FOREACH serp;
    "INSERT INTO serp VALUES('" _ query _ "', '";
    link _ "', '";
    anchor _ "')\n";
END  %]

Exempel på resultat:

    
INSERT INTO serp VALUES('test', 'https://www.speedtest.net/', 'Speedtest by Ookla - The Global Broadband Speed Test')
INSERT INTO serp VALUES('test', 'https://www.merriam-webster.com/dictionary/test', 'TEST Definition & Meaning - Merriam-Webster')
INSERT INTO serp VALUES('test', 'https://englishtest.duolingo.com/', 'Duolingo English Test')
INSERT INTO serp VALUES('test', 'https://link.springer.com/journal/11749', 'Home | TEST | Springer Nature Link')
INSERT INTO serp VALUES('test', 'https://test.io/', 'Home | Test IO')
INSERT INTO serp VALUES('test', 'https://www.spectrum.com/internet/speed-test', 'Spectrum Internet Speed Test: Broadband Internet Speed Check')
INSERT INTO serp VALUES('test', 'https://fast.com/', 'Internet Speed Test | Fast.com')
INSERT INTO serp VALUES('test', 'https://en.wikipedia.org/wiki/Test', 'Test - Wikipedia')
...

Dumpa resultat till JSON

Allmänt resultatformat:

[% IF notFirst;
  ",\n";
ELSE;
  notFirst = 1;
END;

obj = {};
obj.results = [];

FOREACH item IN p1.serp;
    obj.results.push({
        link = item.link
        anchor = item.anchor
        snippet = item.snippet
    });
END;

obj.json %]

Starttext:

Sluttext:

Exempel på resultat:

{"results":[{"link":"https://www.speedtest.net/","snippet":"Use Speed<strong>test</strong> on all your devices with our free desktop and mobile apps.","anchor":"Speedtest by Ookla - The Global Broadband Speed Test"},{"link":"https://www.merriam-webster.com/dictionary/test","snippet":"The meaning of TEST is <strong>a means of testing</strong>. How to use test in a sentence.","anchor":"TEST Definition & Meaning - Merriam-Webster"},{"link":"https://englishtest.duolingo.com/","snippet":"The Duolingo English Test is a fast, affordable online English exam accepted by institutions worldwide. Take it anytime and get results in 2 days","anchor":"Duolingo English Test"},{"link":"https://link.springer.com/journal/11749","snippet":"Journal TEST <strong>focuses on cutting-edge research in all areas of Statistics and Probability with significant theoretical, methodological, and applied impact</strong>. ...","anchor":"Home | TEST | Springer Nature Link"},{"link":"https://test.io/","snippet":"Test IO delivers a full range of web, mobile, and IoT <strong>test</strong>ing, delivered as a service.","anchor":"Home | Test IO"},{"link":"https://www.spectrum.com/internet/speed-test","snippet":"Test your broadband Internet and WiFi speed with the Internet Speed Test. Check your upload and download speeds for your home Internet network.","anchor":"Spectrum Internet Speed Test: Broadband Internet Speed Check"},{"link":"https://fast.com/","snippet":"FAST.com will <strong>test</strong> Internet speed globally on any device (phone, laptop, or smart TV with browser).","anchor":"Internet Speed Test | Fast.com"},{"link":"https://en.wikipedia.org/wiki/Test","snippet":"Look up test, testing, Test, or TEST in Wiktionary, the free dictionary. ... Test (assessment), <strong>an educational assessment intended to measure the respondents&#x27; knowledge or other abilities</strong> ... Test., abbreviation for Testament, referring to the Old Testament and New Testament of the Christian Bible.","anchor":"Test - Wikipedia"},{"link":"https://speed.cloudflare.com/","snippet":"Test your Internet connection. Check your network performance with our Internet speed <strong>test</strong>. Powered by Cloudflare&#x27;s global edge network.","anchor":"Internet Speed Test - Measure Network Performance | Cloudflare"},{"link":"https://testmy.net/","snippet":"TestMy.net is a powerful broadband speed <strong>test</strong> that will <strong>test</strong> your Internet, calculate your transfer rate and output accurate, reliable and easy to understand results. TestMy.net is an independent third party and is not affiliated with your Internet service provider.","anchor":"Internet Speed Test"},{"link":"https://www.livechat.com/typing-speed-test/","snippet":"The faster you type, the faster you communicate with others. With our free typing speed <strong>test</strong>, you can check your WPM and CPM typing scores in a flash!","anchor":"Free Typing Test - Check Your Typing Speed in 60 Seconds | LiveChat ..."},{"link":"https://fiber.google.com/speedtest/","snippet":"Test your current internet speed, and find out how fast your broadband wi-fi handles uploads and downloads. See Google Fiber plan options for faster internet.","anchor":"Internet Speed Test | Check Broadband Speed | Google Fiber"},{"link":"https://zoom.us/test","snippet":"Preview your next Zoom Meeting using out <strong>test</strong> meeting tool to check your settings and display.","anchor":"Join a Test Meeting | Zoom"},{"link":"https://implicit.harvard.edu/implicit/takeatest.html","snippet":"On the next page, you&#x27;ll be asked to select an Implicit Association Test (IAT) from a list of possible topics. We&#x27;ll also ask you (optionally) to report your attitudes or beliefs about these topics and give you some information about yourself. We ask these questions because the IAT can be more valuable if you also describe your own self-understanding of the attitude or stereotype that the IAT measures.","anchor":"Take a Test"},{"link":"https://www.act.org/content/act/en/products-and-services/the-act.html","snippet":"The ACT <strong>test</strong> is a curriculum-based education and career planning tool for high school students that assesses the mastery of college readiness standards","anchor":"The ACT Test for Students | ACT"},{"link":"https://play.google.com/store/apps/details?id=org.zwanoo.android.speedtest&hl=en_US","snippet":"Test your download and upload speeds as well as three measures of latency to check a slow connection or use the app to make sure your network is ready for a gaming session. Use real-world data to find out where mobile network coverage is strong and weak for providers in your area with the Speed<strong>test</strong> Maps tab.","anchor":"Speedtest by Ookla - Apps on Google Play"},{"link":"https://speedtest.xfinity.com/","snippet":"Xfinity Speed Test – You need to enable JavaScript to run this app","anchor":"Xfinity Speed Test - Check Your Internet Speed"},{"link":"https://www.ada.org/education/testing/exams/dental-admission-test-dat","snippet":"Find out how to apply for, prepare for, take, and receive scores for the Dental Admission Test (DAT).","anchor":"Dental Admission Test (DAT) | American Dental Association"},{"link":"https://www.16personalities.com/free-personality-test","snippet":"Take our free personality <strong>test</strong> and discover your personality type in 10 minutes. Get a ‘freakishly accurate’ description of who you are and why you do things the way you do.","anchor":"Free personality test | 16Personalities"},{"link":"https://www.faa.gov/uas/recreational_flyers/knowledge_test_updates","snippet":"The law requires that all recreational flyers pass an aeronautical knowledge and safety <strong>test</strong> and provide proof of passage if asked by law enforcement or FAA personnel. The Recreational UAS Safety Test (TRUST) was developed to meet this requirement. TRUST provides education and <strong>test</strong>ing on important safety and regulatory information.","anchor":"The Recreational UAS Safety Test (TRUST) | Federal Aviation ..."}]}

tips

För att alternativen "Prepend text" och "Append text" ska vara tillgängliga i Task Editor, måste du aktivera "More options".

Möjliga inställningar

anteckning

Allmänna inställningar för alla scrapers

Parameternamn	Standardvärde	Beskrivning
Serp type	`All`	Bestämmer om man ska skrapa vanliga resultat (All), nyheter (News) eller videor (Videos)
Pages count	`5`	Antal sidor som ska skrapas (från 1 till 10)
Region	`All regions`	Val av land som sökningen utförs ifrån
Display language	`English (United States)`	Möjlighet att välja gränssnittsspråk för resultatsidan, för maximal identitet mellan resultaten i scrapern och i webbläsaren
Safe search	`Moderate`	Möjlighet att aktivera "Safe search"
Search time	`Any`	Tid för SERP (tidsberoende sökning)
Local results	`On (auto, from IP)`	Lokal sökning, möjliga värden: Off - avstängd, Auto - plats bestäms via sökningens IP, Manual - platsen som anges i `Manual location` används
Manual location		Fält för att ange exakt plats, används endast när `Local results = Manual`. Platsen ska anges som ett koordinatpar separerat med komma i formatet latitud,longitud, till exempel: `55.780844,37.6572693`

Översikt av scrapern​

Data som samlas in​

Funktioner​

Användningsfall​

Sökfrågor​

Sökfrågemakron​

Användning av operatorer​

Exempel på resultatutmatning​

Export av länklista​

Länkar + ankare + snippets med position​

Export av länkar, ankare och snippets till en CSV-tabell​

Spara relaterade sökord​

Spara i SQL-format​

Dumpa resultat till JSON​

Möjliga inställningar​

Översikt av scrapern

Data som samlas in

Funktioner

Användningsfall

Sökfrågor

Sökfrågemakron

Användning av operatorer

Exempel på resultatutmatning

Export av länklista

Länkar + ankare + snippets med position

Export av länkar, ankare och snippets till en CSV-tabell

Spara relaterade sökord

Spara i SQL-format

Dumpa resultat till JSON

Möjliga inställningar