Przejdź do treści głównej

SE::Brave - Scraper wyników wyszukiwania Brave

Brave

Przegląd scrapera​

Scraper wyników wyszukiwania Brave pozwala zbierać dane z szybko rosnącej wyszukiwarki zorientowanej na prywatność. Dzięki niemu będziesz mógł otrzymywać bazy linków gotowych do dalszego wykorzystania. Możesz używać zapytań w takiej samej formie, w jakiej wpisujesz je w Brave, wliczając w to operatory wyszukiwania.

Dzięki wielowątkowej pracy A-Parser, prędkość przetwarzania zapytań może być bardzo wysoka, co pozwala przetwarzać duże ilości danych w krótkim czasie.

Funkcjonalność A-Parser pozwala zapisywać ustawienia scrapowania do dalszego wykorzystania (presety), ustawiać harmonogram scrapowania i wiele więcej. Możesz używać rozmnażania zapytań, podstawiania podzapytań z plików, generowania kombinacji alfanumerycznych oraz list w celu uzyskania maksymalnej możliwej liczby wyników.

Zapisywanie wyników jest możliwe w dowolnej formie i strukturze, której potrzebujesz, dzięki wbudowanemu potężnemu silnikowi szablonów Template Toolkit, który pozwala stosować dodatkową logikę do wyników i wyprowadzać dane w różnych formatach, w tym JSON, SQL i CSV.

Zbierane dane​

  • Linki, kotwice (anchory) i snippety z wyników wyszukiwania, a także data ze snippetu (jeśli jest dostępna)
  • Lista powiązanych słów kluczowych (Related keywords)

Możliwości​

  • wsparcie dla wszystkich operatorów wyszukiwania Brave (site:, inurl: itp.)
  • określenie liczby stron (od 1 do 10), średnio na jedną stronę Brave podaje około 10 wyników
  • określenie regionu wyszukiwania oraz języka interfejsu otrzymywanej strony
  • możliwość otrzymywania dokładnych wyników lokalnych, obsługiwane jest określanie lokalizacji po IP lub dokładne wskazanie
  • możliwość wyboru typu wyników, oprócz głównych wyników organicznych scraper Brave może zbierać wyniki wiadomości lub wideo
  • obsługuje określanie czasu wyników (za cały czas lub za określony interwał od 24 godzin do roku)
  • wsparcie dla sesji

Warianty wykorzystania​

  • Zbieranie baz linków - dla XRumer, AllSubmitter, GSA Ranker itp.
  • Dump SERP-a, zawierający linki, kotwice i snippety, pozwala na głęboką analizę dla specjalistów SEO i marketerów.
  • Wyszukiwanie linków zwrotnych (backlinków) i wzmianek o stronach
  • Dowolne inne warianty zakładające otrzymywanie wyników wyszukiwania dla nieograniczonej liczby zapytań

Zapytania​

Jako zapytania należy podawać frazy wyszukiwania, dokładnie tak samo, jak gdyby były wpisywane bezpośrednio w formularz wyszukiwania Brave, na przykład:

zakup auta
okna w Warszawie
site:https://lenta.ru
inurl:guestbook

Podstawianie zapytań​

Możesz używać wbudowanych makr do rozmnażania zapytań, na przykład chcemy uzyskać bardzo dużą bazę forów, w tym celu wskażemy kilka głównych zapytań w różnych językach:

forum
forum
foro
论坛

W formacie zapytań wskażemy generowanie znaków od a do zzzz, ta metoda pozwala maksymalnie rotować wyniki wyszukiwania i otrzymywać mnóstwo nowych unikalnych wyników:

$query {az:a:zzzz}

To makro utworzy 475254 dodatkowych zapytań dla każdego wyjściowego zapytania, co w sumie da 4 x 475254 = 1901016 zapytań wyszukiwania. Liczba jest imponująca, ale to żaden problem dla A-Parsera. Przy prędkości 2000 zapytań na minutę takie zadanie zostanie przetworzone w zaledwie 16 godzin.

Użycie operatorów​

Możesz używać operatorów wyszukiwania w formacie zapytania, dzięki czemu zostaną one automatycznie dodane do każdego zapytania z Twojej listy, na przykład:

inurl:$query

Warianty wyprowadzania wyników​

A-Parser obsługuje elastyczne formatowanie wyników dzięki wbudowanemu silnikowi szablonów Template Toolkit, co pozwala mu wyprowadzać wyniki w dowolnej formie, a także w formie strukturalnej, np. CSV lub JSON

Eksport listy linków​

Format wyniku:

$serp.format('$link\n')

Przykład wyniku:

https://www.mobile.de/ru
https://auto.drom.ru/
https://autospot.ru/brands/
https://www.destacar.de/
https://www.autoscout24.de/auto/gebrauchtwagen/bayern/falkenstein/
https://www-autoservice-falkenstein.skoda-auto.de/?e=7
https://auto.ru/
https://www.autohaus-schueler.de/
https://www.avtogermes.ru/sale/
https://falkenstein.seat.de/
...

Format wyniku:

[% FOREACH item IN serp;
    loop.count _ ' - ' _ item.link _ ' - ' _ item.anchor _ ' - ' _ item.snippet _ "\n";
END %]

Przykład wyniku:

1 - https://www.mobile.de/ru - mobile.de: używane samochody — ogłoszenia o ... - mobile.de/ru jest częścią mobile.de, największego w Niemczech rynku samochodowego. mobile.de ułatwia zakup samochodu. Za pomocą prostego wyszukiwania i kilku kliknięć myszką otrzymujesz pełny przegląd rynku.
2 - https://auto.drom.ru/ - Sprzedaż samochodów w Rosji. Pode... - 775 361 ogłoszeń o sprzedaży samochodów. Sprzedaż nowych i używanych aut od 10 000 rubli. Salony samochodowe i ogłoszenia prywatne.
3 - https://www.destacar.de/ - Samochody z Niemiec na zamówienie | ... - Firma Destacar jest zawsze gotowa pomóc Ci w wyszukiwaniu, wyborze, oględzinach i zakupie samochodu w Niemczech. Pomożemy Ci kupić używane auto w Niemczech, wykonamy oględziny i jazdę próbną, abyś był w pełni pewny stanu swojego auta.
4 - https://autospot.ru/brands/ - Kupić samochód w Moskwie: ceny na ... - ✸ Dobór auta według parametrów w Moskwie: ceny w katalogu samochodów Autospot. ✸ Katalog samochodów z cenami i danymi technicznymi - sprzedaż od oficjalnych dealerów.
5 - https://www.autoscout24.de/auto/gebrauchtwagen/bayern/falkenstein/ - Gebrauchtwagen Falkenstein: Auto günstig kaufen - Gebrauchtwagen & Jahreswagen in Falkenstein kaufen und verkaufen bei AutoScout24.de - Europas großem Automarkt » Jetzt finden oder inserieren!
6 - https://www-autoservice-falkenstein.skoda-auto.de/?e=7 - ŠKODA Gebrauchtwagen in Falkenstein | Auto-Service Falkenstein GmbH - ŠKODA Gebrauchtwagen in Falkenstein | Auto-Service Falkenstein GmbH ✔ Günstig finanzieren ✔ Beste ŠKODA Vorführwagen und Jahreswagen ✔ ŠKODA gebraucht kaufen ✔ Probefahrt vereinbaren
7 - https://auto.ru/ - Auto.ru: kupić, sprzedać i wymienić ... - Ta strona funkcjonuje zgodnie z ustawodawstwem Federacji Rosyjskiej i nie jest przeznaczona do pracy w Twoim regionie. Kontynuując korzystanie ze strony, ...
8 - https://www.autohaus-schueler.de/ - Ihr Audi und VW Autohaus Schüler in Falkenstein - Ihr Autohaus Schüler in Falkenstein, Oelsnitz, Plauen & Wilkau-Hasslau - Wir bieten ein großes Angebot an Neu- und Gebrauchtwagen, Audi & VW Service.
...

Wbudowane narzędzie $tools.CSVLine pozwala tworzyć poprawne dokumenty tabelaryczne, gotowe do importu do Excela lub Google Sheets.

Ogólny format wyniku:

[%  FOREACH item IN p1.serp;
    tools.CSVline(item.link, item.anchor, item.snippet);
END  %]

Nazwa pliku:

$datefile.format().csv

Tekst początkowy:

Link,Kotwica,Snippet

Przykład wyniku:

Link,Kotwica,Snippet
https://www.mobile.de/ru,"mobile.de: używane samochody — ogłoszenia o ...","mobile.de/ru jest częścią mobile.de, największego w Niemczech rynku samochodowego. mobile.de ułatwia zakup samochodu. Za pomocą prostego wyszukiwania i kilku kliknięć myszką otrzymujesz pełny przegląd rynku."
https://auto.drom.ru/,"Sprzedaż samochodów w Rosji. Pode...","775 361 ogłoszeń o sprzedaży samochodów. Sprzedaż nowych i używanych aut od 10 000 rubli. Salony samochodowe i ogłoszenia prywatne."
https://www.destacar.de/,"Samochody z Niemiec na zamówienie | ...","Firma Destacar jest zawsze gotowa pomóc Ci w wyszukiwaniu, wyborze, oględzinach i zakupie samochodu w Niemczech. Pomożemy Ci kupić używane auto w Niemczech, wykonamy oględziny i jazdę próbną, abyś był w pełni pewny stanu swojego auta."
https://autospot.ru/brands/,"Kupić samochód w Moskwie: ceny na ...","✸ Dobór auta według parametrów w Moskwie: ceny w katalogu samochodów Autospot. ✸ Katalog samochodów z cenami i danymi technicznymi - sprzedaż od oficjalnych dealerów."
https://www.autoscout24.de/auto/gebrauchtwagen/bayern/falkenstein/,"Gebrauchtwagen Falkenstein: Auto günstig kaufen","Gebrauchtwagen & Jahreswagen in Falkenstein kaufen und verkaufen bei AutoScout24.de - Europas großem Automarkt » Jetzt finden oder inserieren!"
https://www-autoservice-falkenstein.skoda-auto.de/?e=7,"ŠKODA Gebrauchtwagen in Falkenstein | Auto-Service Falkenstein GmbH","ŠKODA Gebrauchtwagen in Falkenstein | Auto-Service Falkenstein GmbH ✔ Günstig finanzieren ✔ Beste ŠKODA Vorführwagen und Jahreswagen ✔ ŠKODA gebraucht kaufen ✔ Probefahrt vereinbaren"
https://auto.ru/,"Auto.ru: kupić, sprzedać i wymienić ...","Ta strona funkcjonuje zgodnie z ustawodawstwem Federacji Rosyjskiej i nie jest przeznaczona do pracy w Twoim regionie. Kontynuując korzystanie ze strony, ..."
https://www.autohaus-schueler.de/,"Ihr Audi und VW Autohaus Schüler in Falkenstein","Ihr Autohaus Schüler in Falkenstein, Oelsnitz, Plauen & Wilkau-Hasslau - Wir bieten ein großes Angebot an Neu- und Gebrauchtwagen, Audi & VW Service."
...
wskazówka

W Ogólnym formacie wyników stosowany jest silnik szablonów Template Toolkit do wyprowadzania tablicy $serp w pętli FOREACH.

W nazwie pliku wyników należy po prostu zmienić rozszerzenie pliku na csv.

Aby opcja "Prepend text" była dostępna w Edytorze zadań, należy aktywować "More options". W "Prepend text" wpisujemy nazwy kolumn oddzielone przecinkami, a drugą linię pozostawiamy pustą.

Format wyniku:

$related.format('$key\n')

Przykład wyniku:

test speed
ookla speed test
speed test wifi
internet speed test
run speed test
fast speed test
mbps test
test 2
test match
google speed test
...

Zapisywanie w formacie SQL​

Format wyniku:

[%  FOREACH serp;
    "INSERT INTO serp VALUES('" _ query _ "', '";
    link _ "', '";
    anchor _ "')\n";
END  %]

Przykład wyniku:

    
INSERT INTO serp VALUES('test', 'https://www.speedtest.net/', 'Speedtest by Ookla - The Global Broadband Speed Test')
INSERT INTO serp VALUES('test', 'https://www.merriam-webster.com/dictionary/test', 'TEST Definition & Meaning - Merriam-Webster')
INSERT INTO serp VALUES('test', 'https://englishtest.duolingo.com/', 'Duolingo English Test')
INSERT INTO serp VALUES('test', 'https://link.springer.com/journal/11749', 'Home | TEST | Springer Nature Link')
INSERT INTO serp VALUES('test', 'https://test.io/', 'Home | Test IO')
INSERT INTO serp VALUES('test', 'https://www.spectrum.com/internet/speed-test', 'Spectrum Internet Speed Test: Broadband Internet Speed Check')
INSERT INTO serp VALUES('test', 'https://fast.com/', 'Internet Speed Test | Fast.com')
INSERT INTO serp VALUES('test', 'https://en.wikipedia.org/wiki/Test', 'Test - Wikipedia')
...

Zrzut wyników do JSON​

Ogólny format wyniku:

[% IF notFirst;
  ",\n";
ELSE;
  notFirst = 1;
END;

obj = {};
obj.results = [];

FOREACH item IN p1.serp;
    obj.results.push({
        link = item.link
        anchor = item.anchor
        snippet = item.snippet
    });
END;

obj.json %]

Tekst początkowy:

[

Tekst końcowy:

]

Przykład wyniku:

{"results":[{"link":"https://www.speedtest.net/","snippet":"Use Speed<strong>test</strong> on all your devices with our free desktop and mobile apps.","anchor":"Speedtest by Ookla - The Global Broadband Speed Test"},{"link":"https://www.merriam-webster.com/dictionary/test","snippet":"The meaning of TEST is <strong>a means of testing</strong>. How to use test in a sentence.","anchor":"TEST Definition & Meaning - Merriam-Webster"},{"link":"https://englishtest.duolingo.com/","snippet":"The Duolingo English Test is a fast, affordable online English exam accepted by institutions worldwide. Take it anytime and get results in 2 days","anchor":"Duolingo English Test"},{"link":"https://link.springer.com/journal/11749","snippet":"Journal TEST <strong>focuses on cutting-edge research in all areas of Statistics and Probability with significant theoretical, methodological, and applied impact</strong>. ...","anchor":"Home | TEST | Springer Nature Link"},{"link":"https://test.io/","snippet":"Test IO delivers a full range of web, mobile, and IoT <strong>test</strong>ing, delivered as a service.","anchor":"Home | Test IO"},{"link":"https://www.spectrum.com/internet/speed-test","snippet":"Test your broadband Internet and WiFi speed with the Internet Speed Test. Check your upload and download speeds for your home Internet network.","anchor":"Spectrum Internet Speed Test: Broadband Internet Speed Check"},{"link":"https://fast.com/","snippet":"FAST.com will <strong>test</strong> Internet speed globally on any device (phone, laptop, or smart TV with browser).","anchor":"Internet Speed Test | Fast.com"},{"link":"https://en.wikipedia.org/wiki/Test","snippet":"Look up test, testing, Test, or TEST in Wiktionary, the free dictionary. ... Test (assessment), <strong>an educational assessment intended to measure the respondents&#x27; knowledge or other abilities</strong> ... Test., abbreviation for Testament, referring to the Old Testament and New Testament of the Christian Bible.","anchor":"Test - Wikipedia"},{"link":"https://speed.cloudflare.com/","snippet":"Test your Internet connection. Check your network performance with our Internet speed <strong>test</strong>. Powered by Cloudflare&#x27;s global edge network.","anchor":"Internet Speed Test - Measure Network Performance | Cloudflare"},{"link":"https://testmy.net/","snippet":"TestMy.net is a powerful broadband speed <strong>test</strong> that will <strong>test</strong> your Internet, calculate your transfer rate and output accurate, reliable and easy to understand results. TestMy.net is an independent third party and is not affiliated with your Internet service provider.","anchor":"Internet Speed Test"},{"link":"https://www.livechat.com/typing-speed-test/","snippet":"The faster you type, the faster you communicate with others. With our free typing speed <strong>test</strong>, you can check your WPM and CPM typing scores in a flash!","anchor":"Free Typing Test - Check Your Typing Speed in 60 Seconds | LiveChat ..."},{"link":"https://fiber.google.com/speedtest/","snippet":"Test your current internet speed, and find out how fast your broadband wi-fi handles uploads and downloads. See Google Fiber plan options for faster internet.","anchor":"Internet Speed Test | Check Broadband Speed | Google Fiber"},{"link":"https://zoom.us/test","snippet":"Preview your next Zoom Meeting using out <strong>test</strong> meeting tool to check your settings and display.","anchor":"Join a Test Meeting | Zoom"},{"link":"https://implicit.harvard.edu/implicit/takeatest.html","snippet":"On the next page, you&#x27;ll be asked to select an Implicit Association Test (IAT) from a list of possible topics. We&#x27;ll also ask you (optionally) to report your attitudes or beliefs about these topics and give you some information about yourself. We ask these questions because the IAT can be more valuable if you also describe your own self-understanding of the attitude or stereotype that the IAT measures.","anchor":"Take a Test"},{"link":"https://www.act.org/content/act/en/products-and-services/the-act.html","snippet":"The ACT <strong>test</strong> is a curriculum-based education and career planning tool for high school students that assesses the mastery of college readiness standards","anchor":"The ACT Test for Students | ACT"},{"link":"https://play.google.com/store/apps/details?id=org.zwanoo.android.speedtest&hl=en_US","snippet":"Test your download and upload speeds as well as three measures of latency to check a slow connection or use the app to make sure your network is ready for a gaming session. Use real-world data to find out where mobile network coverage is strong and weak for providers in your area with the Speed<strong>test</strong> Maps tab.","anchor":"Speedtest by Ookla - Apps on Google Play"},{"link":"https://speedtest.xfinity.com/","snippet":"Xfinity Speed Test – You need to enable JavaScript to run this app","anchor":"Xfinity Speed Test - Check Your Internet Speed"},{"link":"https://www.ada.org/education/testing/exams/dental-admission-test-dat","snippet":"Find out how to apply for, prepare for, take, and receive scores for the Dental Admission Test (DAT).","anchor":"Dental Admission Test (DAT) | American Dental Association"},{"link":"https://www.16personalities.com/free-personality-test","snippet":"Take our free personality <strong>test</strong> and discover your personality type in 10 minutes. Get a ‘freakishly accurate’ description of who you are and why you do things the way you do.","anchor":"Free personality test | 16Personalities"},{"link":"https://www.faa.gov/uas/recreational_flyers/knowledge_test_updates","snippet":"The law requires that all recreational flyers pass an aeronautical knowledge and safety <strong>test</strong> and provide proof of passage if asked by law enforcement or FAA personnel. The Recreational UAS Safety Test (TRUST) was developed to meet this requirement. TRUST provides education and <strong>test</strong>ing on important safety and regulatory information.","anchor":"The Recreational UAS Safety Test (TRUST) | Federal Aviation ..."}]}
wskazówka

Aby opcje "Prepend text" i "Append text" były dostępne w Edytorze zadań, należy aktywować "More options".

Możliwe ustawienia​

notatka

Ogólne ustawienia dla wszystkich scraperów

Nazwa parametruWartość domyślnaOpis
Serp typeAllOkreśla, czy scrapować wyniki ogólne (All), wiadomości (News) czy wideo (Videos)
Pages count5Liczba stron do scrapowania (od 1 do 10)
RegionAll regionsWybór kraju, z którego przeprowadzane jest wyszukiwanie
Display languageEnglish (United States)Możliwość wyboru języka interfejsu strony wyników, dla maksymalnej identyczności wyników w scraperze i w przeglądarce
Safe searchModerateMożliwość włączenia "Safe search"
Search timeAnyCzas SERP (wyszukiwanie zależne od czasu)
Local resultsOn (auto, from IP)Wyszukiwanie lokalne, możliwe wartości: Off - wyłączone, Auto - lokalizacja określana po IP zapytania, Manual - używana lokalizacja podana w Manual location
Manual locationPole do wprowadzania dokładnej lokalizacji, używane tylko przy Local results = Manual. Lokalizacja powinna być podana jako para współrzędnych oddzielonych przecinkiem w formacie szerokość,długość, na przykład: 55.780844,37.6572693