Pular para o conteúdo principal

SE::Brave - Scraper de resultados de busca do Brave

Brave

Visão geral do scraper​

O scraper de resultados de busca do Brave permite coletar dados do motor de busca focado em privacidade que mais cresce. Com ele, você poderá obter bases de links prontos para uso posterior. Você pode usar consultas da mesma forma que as digita no Brave, incluindo operadores de busca.

Graças ao processamento em múltiplas threads do A-Parser, a velocidade de processamento das consultas pode ser muito alta, o que permite processar grandes volumes de dados em pouco tempo.

A funcionalidade do A-Parser permite salvar configurações de extração de dados para uso futuro (presets), definir agendamentos de extração de dados e muito mais. Você pode usar a multiplicação de consultas, substituição de subconsultas a partir de arquivos, combinação de caracteres alfanuméricos e listas para obter a maior quantidade possível de resultados.

A preservação dos resultados é possível no formato e estrutura que você necessita, graças ao poderoso modelo de template integrado Template Toolkit que permite aplicar lógica adicional aos resultados e exportar dados em vários formatos, incluindo JSON, SQL e CSV.

Dados coletados​

  • Links, âncoras e snippets dos resultados, bem como a data do snippet (se disponível)
  • Lista de palavras-chave relacionadas (Related keywords)

Recursos​

  • suporte para todos os operadores de busca do Brave (site:, inurl:, etc.)
  • especificação do número de páginas (de 1 a 10), em média o Brave fornece cerca de 10 resultados por página
  • especificação da região de resultados e do idioma da interface da página obtida
  • possibilidade de obter resultados locais precisos, com suporte para definição de localização por IP ou especificação exata
  • possibilidade de escolher o tipo de resultado: além da busca orgânica principal, o scraper do Brave pode coletar resultados de notícias ou vídeos
  • suporta a especificação do período dos resultados (todo o tempo ou um intervalo específico de 24 horas a um ano)
  • suporte para sessões

Casos de uso​

  • Coleta de bases de links - para XRumer, AllSubmitter, GSA Ranker, etc.
  • Dump de SERP, incluindo links, âncoras e snippets, permitindo análises profundas para especialistas em SEO e profissionais de marketing.
  • Busca de backlinks e menções a sites
  • Quaisquer outras opções que envolvam a obtenção de resultados de busca para um número ilimitado de consultas

Consultas​

Como consultas, é necessário indicar frases de busca, exatamente como se fossem digitadas diretamente no formulário de busca do Brave, por exemplo:

compra de carro
janelas em Lisboa
site:https://lenta.ru
inurl:guestbook

Substituições de consultas​

Você pode usar macros integrados para multiplicar consultas; por exemplo, se quisermos obter uma base muito grande de fóruns, indicaremos várias consultas principais em diferentes idiomas:

forum
fórum
foro
论坛

No formato de consulta, indicaremos a permutação de caracteres de a até zzzz; este método permite rotacionar ao máximo os resultados de busca e obter muitos novos resultados únicos:

$query {az:a:zzzz}

Este macro criará 475254 consultas adicionais para cada consulta de busca inicial, o que totalizará 4 x 475254 = 1901016 consultas de busca; um número impressionante, mas que não é problema para o A-Parser. Com uma velocidade de 2000 consultas por minuto, essa tarefa será processada em apenas 16 horas.

Uso de operadores​

Você pode usar operadores de busca no formato da consulta, assim ele será adicionado automaticamente a cada consulta da sua lista, por exemplo:

inurl:$query

Opções de exportação de resultados​

O A-Parser suporta formatação flexível de resultados graças ao modelo de template integrado Template Toolkit, o que permite exportar resultados de forma arbitrária, bem como estruturada, como CSV ou JSON.

Exportação de lista de links​

Formato do resultado:

$serp.format('$link\n')

Exemplo de resultado:

https://www.mobile.de/ru
https://auto.drom.ru/
https://autospot.ru/brands/
https://www.destacar.de/
https://www.autoscout24.de/auto/gebrauchtwagen/bayern/falkenstein/
https://www-autoservice-falkenstein.skoda-auto.de/?e=7
https://auto.ru/
https://www.autohaus-schueler.de/
https://www.avtogermes.ru/sale/
https://falkenstein.seat.de/
...

Formato do resultado:

[% FOREACH item IN serp;
    loop.count _ ' - ' _ item.link _ ' - ' _ item.anchor _ ' - ' _ item.snippet _ "\n";
END %]

Exemplo de resultado:

1 - https://www.mobile.de/ru - mobile.de: carros usados — anúncios de ... - mobile.de/ru faz parte do mobile.de, o maior mercado de automóveis da Alemanha. O mobile.de facilita a compra de um carro. Com uma busca simples e alguns cliques, você obtém uma visão completa do mercado.
2 - https://auto.drom.ru/ - Venda de carros na Rússia. Usados... - 775 361 anúncios de venda de carros. Venda de carros novos e usados a partir de 10.000 rublos. Concessionárias e anúncios particulares.
3 - https://www.destacar.de/ - Carros da Alemanha sob encomenda | ... - A empresa Destacar está sempre pronta para ajudá-lo na busca, seleção, inspeção e compra de um carro na Alemanha. Ajudaremos você a comprar um carro usado na Alemanha, faremos a inspeção e o test-drive para que você tenha total confiança no estado do seu carro.
4 - https://autospot.ru/brands/ - Comprar carro em Moscou: preços em ... - ✸ Seleção de carros por parâmetros em Moscou: preços no catálogo de carros Autospot. ✸ Catálogo de carros com preços e especificações técnicas - venda por revendedores oficiais.
5 - https://www.autoscout24.de/auto/gebrauchtwagen/bayern/falkenstein/ - Gebrauchtwagen Falkenstein: Auto günstig kaufen - Gebrauchtwagen & Jahreswagen in Falkenstein kaufen und verkaufen bei AutoScout24.de - Europas großem Automarkt » Jetzt finden oder inserieren!
6 - https://www-autoservice-falkenstein.skoda-auto.de/?e=7 - ŠKODA Gebrauchtwagen in Falkenstein | Auto-Service Falkenstein GmbH - ŠKODA Gebrauchtwagen in Falkenstein | Auto-Service Falkenstein GmbH ✔ Günstig finanzieren ✔ Beste ŠKODA Vorführwagen und Jahreswagen ✔ ŠKODA gebraucht kaufen ✔ Probefahrt vereinbaren
7 - https://auto.ru/ - Auto.ru: comprar, vender e trocar ... - Este site funciona de acordo com a legislação da Federação Russa e não se destina a operar em sua região. Ao continuar a usar o site, ...
8 - https://www.autohaus-schueler.de/ - Ihr Audi und VW Autohaus Schüler in Falkenstein - Ihr Autohaus Schüler in Falkenstein, Oelsnitz, Plauen & Wilkau-Hasslau - Wir bieten ein großes Angebot an Neu- und Gebrauchtwagen, Audi & VW Service.
...

A utilidade integrada $tools.CSVLine permite criar documentos tabulares corretos, prontos para importação no Excel ou Google Sheets.

Formato geral do resultado:

[%  FOREACH item IN p1.serp;
    tools.CSVline(item.link, item.anchor, item.snippet);
END  %]

Nome do arquivo:

$datefile.format().csv

Texto inicial:

Link,Âncora,Snippet

Exemplo de resultado:

Link,Âncora,Snippet
https://www.mobile.de/ru,"mobile.de: carros usados — anúncios de ...","mobile.de/ru faz parte do mobile.de, o maior mercado de automóveis da Alemanha. O mobile.de facilita a compra de um carro. Com uma busca simples e alguns cliques, você obtém uma visão completa do mercado."
https://auto.drom.ru/,"Venda de carros na Rússia. Usados...","775 361 anúncios de venda de carros. Venda de carros novos e usados a partir de 10.000 rublos. Concessionárias e anúncios particulares."
https://www.destacar.de/,"Carros da Alemanha sob encomenda | ...","A empresa Destacar está sempre pronta para ajudá-lo na busca, seleção, inspeção e compra de um carro na Alemanha. Ajudaremos você a comprar um carro usado na Alemanha, faremos a inspeção e o test-drive para que você tenha total confiança no estado do seu carro."
https://autospot.ru/brands/,"Comprar carro em Moscou: preços em ...","✸ Seleção de carros por parâmetros em Moscou: preços no catálogo de carros Autospot. ✸ Catálogo de carros com preços e especificações técnicas - venda por revendedores oficiais."
https://www.autoscout24.de/auto/gebrauchtwagen/bayern/falkenstein/,"Gebrauchtwagen Falkenstein: Auto günstig kaufen","Gebrauchtwagen & Jahreswagen in Falkenstein kaufen und verkaufen bei AutoScout24.de - Europas großem Automarkt » Jetzt finden oder inserieren!"
https://www-autoservice-falkenstein.skoda-auto.de/?e=7,"ŠKODA Gebrauchtwagen in Falkenstein | Auto-Service Falkenstein GmbH","ŠKODA Gebrauchtwagen in Falkenstein | Auto-Service Falkenstein GmbH ✔ Günstig finanzieren ✔ Beste ŠKODA Vorführwagen und Jahreswagen ✔ ŠKODA gebraucht kaufen ✔ Probefahrt vereinbaren"
https://auto.ru/,"Auto.ru: comprar, vender e trocar ...","Este site funciona de acordo com a legislação da Federação Russa e não se destina a operar em sua região. Ao continuar a usar o site, ..."
https://www.autohaus-schueler.de/,"Ihr Audi und VW Autohaus Schüler in Falkenstein","Ihr Autohaus Schüler in Falkenstein, Oelsnitz, Plauen & Wilkau-Hasslau - Wir bieten ein großes Angebot an Neu- und Gebrauchtwagen, Audi & VW Service."
...
dica

No Formato geral de resultados, aplica-se o modelo de template Template Toolkit para exportar o array $serp em um loop FOREACH.

No nome do arquivo de resultados, basta alterar a extensão do arquivo para csv.

Para que a opção "Prepend text" esteja disponível no Editor de tarefas, é necessário ativar "More options". No "Prepend text", escrevemos os nomes das colunas separados por vírgula e deixamos a segunda linha vazia.

Formato do resultado:

$related.format('$key\n')

Exemplo de resultado:

test speed
ookla speed test
speed test wifi
internet speed test
run speed test
fast speed test
mbps test
test 2
test match
google speed test
...

Salvando em formato SQL​

Formato do resultado:

[%  FOREACH serp;
    "INSERT INTO serp VALUES('" _ query _ "', '";
    link _ "', '";
    anchor _ "')\n";
END  %]

Exemplo de resultado:

    
INSERT INTO serp VALUES('test', 'https://www.speedtest.net/', 'Speedtest by Ookla - The Global Broadband Speed Test')
INSERT INTO serp VALUES('test', 'https://www.merriam-webster.com/dictionary/test', 'TEST Definition & Meaning - Merriam-Webster')
INSERT INTO serp VALUES('test', 'https://englishtest.duolingo.com/', 'Duolingo English Test')
INSERT INTO serp VALUES('test', 'https://link.springer.com/journal/11749', 'Home | TEST | Springer Nature Link')
INSERT INTO serp VALUES('test', 'https://test.io/', 'Home | Test IO')
INSERT INTO serp VALUES('test', 'https://www.spectrum.com/internet/speed-test', 'Spectrum Internet Speed Test: Broadband Internet Speed Check')
INSERT INTO serp VALUES('test', 'https://fast.com/', 'Internet Speed Test | Fast.com')
INSERT INTO serp VALUES('test', 'https://en.wikipedia.org/wiki/Test', 'Test - Wikipedia')
...

Dump de resultados em JSON​

Formato geral do resultado:

[% IF notFirst;
  ",\n";
ELSE;
  notFirst = 1;
END;

obj = {};
obj.results = [];

FOREACH item IN p1.serp;
    obj.results.push({
        link = item.link
        anchor = item.anchor
        snippet = item.snippet
    });
END;

obj.json %]

Texto inicial:

[

Texto final:

]

Exemplo de resultado:

{"results":[{"link":"https://www.speedtest.net/","snippet":"Use Speed<strong>test</strong> on all your devices with our free desktop and mobile apps.","anchor":"Speedtest by Ookla - The Global Broadband Speed Test"},{"link":"https://www.merriam-webster.com/dictionary/test","snippet":"The meaning of TEST is <strong>a means of testing</strong>. How to use test in a sentence.","anchor":"TEST Definition & Meaning - Merriam-Webster"},{"link":"https://englishtest.duolingo.com/","snippet":"The Duolingo English Test is a fast, affordable online English exam accepted by institutions worldwide. Take it anytime and get results in 2 days","anchor":"Duolingo English Test"},{"link":"https://link.springer.com/journal/11749","snippet":"Journal TEST <strong>focuses on cutting-edge research in all areas of Statistics and Probability with significant theoretical, methodological, and applied impact</strong>. ...","anchor":"Home | TEST | Springer Nature Link"},{"link":"https://test.io/","snippet":"Test IO delivers a full range of web, mobile, and IoT <strong>test</strong>ing, delivered as a service.","anchor":"Home | Test IO"},{"link":"https://www.spectrum.com/internet/speed-test","snippet":"Test your broadband Internet and WiFi speed with the Internet Speed Test. Check your upload and download speeds for your home Internet network.","anchor":"Spectrum Internet Speed Test: Broadband Internet Speed Check"},{"link":"https://fast.com/","snippet":"FAST.com will <strong>test</strong> Internet speed globally on any device (phone, laptop, or smart TV with browser).","anchor":"Internet Speed Test | Fast.com"},{"link":"https://en.wikipedia.org/wiki/Test","snippet":"Look up test, testing, Test, or TEST in Wiktionary, the free dictionary. ... Test (assessment), <strong>an educational assessment intended to measure the respondents&#x27; knowledge or other abilities</strong> ... Test., abbreviation for Testament, referring to the Old Testament and New Testament of the Christian Bible.","anchor":"Test - Wikipedia"},{"link":"https://speed.cloudflare.com/","snippet":"Test your Internet connection. Check your network performance with our Internet speed <strong>test</strong>. Powered by Cloudflare&#x27;s global edge network.","anchor":"Internet Speed Test - Measure Network Performance | Cloudflare"},{"link":"https://testmy.net/","snippet":"TestMy.net is a powerful broadband speed <strong>test</strong> that will <strong>test</strong> your Internet, calculate your transfer rate and output accurate, reliable and easy to understand results. TestMy.net is an independent third party and is not affiliated with your Internet service provider.","anchor":"Internet Speed Test"},{"link":"https://www.livechat.com/typing-speed-test/","snippet":"The faster you type, the faster you communicate with others. With our free typing speed <strong>test</strong>, you can check your WPM and CPM typing scores in a flash!","anchor":"Free Typing Test - Check Your Typing Speed in 60 Seconds | LiveChat ..."},{"link":"https://fiber.google.com/speedtest/","snippet":"Test your current internet speed, and find out how fast your broadband wi-fi handles uploads and downloads. See Google Fiber plan options for faster internet.","anchor":"Internet Speed Test | Check Broadband Speed | Google Fiber"},{"link":"https://zoom.us/test","snippet":"Preview your next Zoom Meeting using out <strong>test</strong> meeting tool to check your settings and display.","anchor":"Join a Test Meeting | Zoom"},{"link":"https://implicit.harvard.edu/implicit/takeatest.html","snippet":"On the next page, you&#x27;ll be asked to select an Implicit Association Test (IAT) from a list of possible topics. We&#x27;ll also ask you (optionally) to report your attitudes or beliefs about these topics and give you some information about yourself. We ask these questions because the IAT can be more valuable if you also describe your own self-understanding of the attitude or stereotype that the IAT measures.","anchor":"Take a Test"},{"link":"https://www.act.org/content/act/en/products-and-services/the-act.html","snippet":"The ACT <strong>test</strong> is a curriculum-based education and career planning tool for high school students that assesses the mastery of college readiness standards","anchor":"The ACT Test for Students | ACT"},{"link":"https://play.google.com/store/apps/details?id=org.zwanoo.android.speedtest&hl=en_US","snippet":"Test your download and upload speeds as well as three measures of latency to check a slow connection or use the app to make sure your network is ready for a gaming session. Use real-world data to find out where mobile network coverage is strong and weak for providers in your area with the Speed<strong>test</strong> Maps tab.","anchor":"Speedtest by Ookla - Apps on Google Play"},{"link":"https://speedtest.xfinity.com/","snippet":"Xfinity Speed Test – You need to enable JavaScript to run this app","anchor":"Xfinity Speed Test - Check Your Internet Speed"},{"link":"https://www.ada.org/education/testing/exams/dental-admission-test-dat","snippet":"Find out how to apply for, prepare for, take, and receive scores for the Dental Admission Test (DAT).","anchor":"Dental Admission Test (DAT) | American Dental Association"},{"link":"https://www.16personalities.com/free-personality-test","snippet":"Take our free personality <strong>test</strong> and discover your personality type in 10 minutes. Get a ‘freakishly accurate’ description of who you are and why you do things the way you do.","anchor":"Free personality test | 16Personalities"},{"link":"https://www.faa.gov/uas/recreational_flyers/knowledge_test_updates","snippet":"The law requires that all recreational flyers pass an aeronautical knowledge and safety <strong>test</strong> and provide proof of passage if asked by law enforcement or FAA personnel. The Recreational UAS Safety Test (TRUST) was developed to meet this requirement. TRUST provides education and <strong>test</strong>ing on important safety and regulatory information.","anchor":"The Recreational UAS Safety Test (TRUST) | Federal Aviation ..."}]}
dica

Para que as opções "Prepend text" e "Append text" estejam disponíveis no Editor de tarefas, é necessário ativar "More options".

Configurações possíveis​

nota

Configurações comuns para todos os scrapers

Nome do parâmetroValor padrãoDescrição
Serp typeAllDefine se deve extrair resultados gerais (All), notícias (News) ou vídeos (Videos)
Pages count5Número de páginas para extração de dados (de 1 a 10)
RegionAll regionsEscolha do país de onde a busca é realizada
Display languageEnglish (United States)Possibilidade de escolher o idioma da interface da página de resultados, para máxima identidade dos resultados no scraper e no navegador
Safe searchModeratePossibilidade de ativar a "Safe search"
Search timeAnyTempo da SERP (busca dependente do tempo)
Local resultsOn (auto, from IP)Busca local, valores possíveis: Off - desativado, Auto - a localização é determinada pelo IP da consulta, Manual - utiliza a localização definida em Manual location
Manual locationCampo para inserir a localização exata, usado apenas com Local results = Manual. A localização deve ser indicada como um par de coordenadas separadas por vírgula no formato latitude,longitude, por exemplo: 55.780844,37.6572693