SE::Brave - Парсер поисковой выдачи Brave

Обзор парсера

Парсер поисковой выдачи Brave позволяет собирать данные из быстрорастущей поисковой системы, ориентированной на приватность. Благодаря ему вы сможете получать базы ссылок, готовых для дальнейшего использования. Вы можете использовать запросы в том же виде, в котором вы вводите их в Brave, включая поисковые операторы.

Благодаря многопоточной работе A-Parser'a, скорость обработки запросов может быть очень высокой, что позволяет обрабатывать большие объемы данных за короткое время.

Функционал A-Parser позволяет сохранять настройки парсинга для дальнейшего использования (пресеты), задавать расписание парсинга и многое другое. Вы можете использовать размножение запросов, подстановку подзапросов из файлов, перебор цифро-буквенных комбинаций и списков для получения максимально возможного количества результатов.

Сохранение результатов возможно в том виде и структуре которая вам необходима, благодаря встроенному мощному шаблонизатору Template Toolkit который позволяет применять дополнительную логику к результатам и выводить данные в различных форматах, включая JSON, SQL и CSV.

Перейти к ДЕМО Купить A-Parser Pro ($299)

Собираемые данные

Ссылки, анкоры и сниппеты из выдачи, а также дату из сниппета (если есть)
Список связанных ключевых слов (Related keywords)

Возможности

поддержка всех поисковых операторов Brave (site:, inurl: и т.д.)
указание количества страниц(от 1 до 10), в среднем на одну страницу Brave выдает около 10 результатов
указание региона выдачи и языка интерфейса получаемой страницы
возможность получать точную локальную выдачу, поддерживается определение локации по IP или точное указание
возможность выбора типа выдачи, помимо основной органической выдачи парсер Brave может собирать новостную или видео выдачу
поддерживает указание времени выдачи (за все время или за определенный интервал от 24 часов до года)
поддержка сессий

Варианты использования

Сбор баз ссылок - для XRumer, AllSubmitter, GSA Ranker и т.д.
Дамп SERP'а, включающий ссылки, анкоры и сниппеты позволяет производить глубокий анализ для SEO специалистов и маркетологов.
Поиск беклинков и упоминаний сайтов
Любые другие варианты подразумевающие получение результатов выдачи по неограниченному числу запросов

Запросы

В качестве запросов необходимо указывать поисковые фразы, точно так же как если бы их вводили прямо в форму поиска Brave, например:

покупка авто
окна в Киеве
site:https://lenta.ru
inurl:guestbook

Подстановки запросов

Вы можете использовать встроенные макросы для разможения запросов, например мы хотим получить очень большую базу форумов, для этого укажем несколько основных запросов на разных языках:

forum
форум
foro
论坛

В формате запросов укажем перебор символов от a до zzzz, данный метод позволяет максимально ротировать поисковую выдачу и получать множество новых уникальных результатов:

$query {az:a:zzzz}

Данный макрос создаст 475254 дополнительных запросов на каждый исходный поисковый запрос, что в сумме даст 4 х 475254 = 1901016 поисковых запроса, цифра впечатляющая, но это совсем не проблема для A-Parser'а. При скорости 2000 запросов в минуту такое задание обработается всего за 16 часов.

Использование операторов

Вы можете использовать поисковые операторы в формате запроса, таким образом он будет автоматически добавлен к каждому запросу из вашего списка, например:

inurl:$query

Варианты вывода результатов

A-Parser поддерживает гибкое форматирование результатов благодаря встроенному шаблонизатору Template Toolkit, что позволяет ему выводить результаты в произвольной форме, а также в структурированной, например CSV или JSON

Экспорт списка ссылок

Формат результата:

$serp.format('$link\n')

Пример результата:

https://www.mobile.de/ru
https://auto.drom.ru/
https://autospot.ru/brands/
https://www.destacar.de/
https://www.autoscout24.de/auto/gebrauchtwagen/bayern/falkenstein/
https://www-autoservice-falkenstein.skoda-auto.de/?e=7
https://auto.ru/
https://www.autohaus-schueler.de/
https://www.avtogermes.ru/sale/
https://falkenstein.seat.de/
...

Ссылки + анкоры + сниппеты с выводом позиции

Формат результата:

[% FOREACH item IN serp;
    loop.count _ ' - ' _ item.link _ ' - ' _ item.anchor _ ' - ' _ item.snippet _ "\n";
END %]

Пример результата:

- https://www.mobile.de/ru - mobile.de: б/у автомобили — объявления о ... - mobile.de/ru является частью mobile.de, крупнейшего в Германии рынка автомобилей. mobile.de упрощает покупку автомобиля. С помощью простого поиска и нескольких щелчков мыши вы получаете полный обзор рынка.
- https://auto.drom.ru/ - Продажа автомобилей в России. Поде... - 775 361 объявление о продаже автомобилей. Продажа новых и подержанных авто от 10 000 рублей. Автосалоны и частные объявления.
- https://www.destacar.de/ - Автомобили из Германии на заказ | ... - Компания Destacar всегда готова помочь Вам в поиске, подборе, осмотре и покупке автомобиля в Германии. Мы поможем Вам купить б/у авто в Германии, сделаем осмотр и тест-драйв, чтобы Вы были полностью уверены в состоянии Вашего авто.
- https://autospot.ru/brands/ - Купить автомобиль в Москве: цены на ... - ✸ Подбор авто по параметрам в Москве: цены в каталоге автомобилей Autospot. ✸ Каталог автомобилей с ценами и техническими характеристиками - продажа от официальных дилеров.
- https://www.autoscout24.de/auto/gebrauchtwagen/bayern/falkenstein/ - Gebrauchtwagen Falkenstein: Auto günstig kaufen - Gebrauchtwagen &amp; Jahreswagen in Falkenstein kaufen und verkaufen bei AutoScout24.de - Europas großem Automarkt » Jetzt finden oder inserieren!
- https://www-autoservice-falkenstein.skoda-auto.de/?e=7 - ŠKODA Gebrauchtwagen in Falkenstein | Auto-Service Falkenstein GmbH - ŠKODA Gebrauchtwagen in Falkenstein | Auto-Service Falkenstein GmbH ✔ Günstig finanzieren ✔ Beste ŠKODA Vorführwagen und Jahreswagen ✔ ŠKODA gebraucht kaufen ✔ Probefahrt vereinbaren
- https://auto.ru/ - Авто.ру: купить, продать и обменять ... - Данный сайт функционирует в соответствии с законодательством Российской Федерации и не предназначен для работы в вашем регионе. Продолжая использовать сайт, ...
- https://www.autohaus-schueler.de/ - Ihr Audi und VW Autohaus Schüler in Falkenstein - Ihr Autohaus Schüler in Falkenstein, Oelsnitz, Plauen &amp; Wilkau-Hasslau - Wir bieten ein großes Angebot an Neu- und Gebrauchtwagen, Audi &amp; VW Service.
...

Вывод ссылок, анкоров и сниппетов в таблицу CSV

Встроенная утилита $tools.CSVLine позволяет создавать корректные табличные документы, готовые для импорта в Excel или Google Таблицы.

Общий формат результата:

[%  FOREACH item IN p1.serp;
    tools.CSVline(item.link, item.anchor, item.snippet);
END  %]

Имя файла:

$datefile.format().csv

Начальный текст:

Ссылка,Анкор,Сниппет

Пример результата:

Ссылка,Анкор,Сниппет
https://www.mobile.de/ru,"mobile.de: б/у автомобили — объявления о ...","mobile.de/ru является частью mobile.de, крупнейшего в Германии рынка автомобилей. mobile.de упрощает покупку автомобиля. С помощью простого поиска и нескольких щелчков мыши вы получаете полный обзор рынка."
https://auto.drom.ru/,"Продажа автомобилей в России. Поде...","775 361 объявление о продаже автомобилей. Продажа новых и подержанных авто от 10 000 рублей. Автосалоны и частные объявления."
https://www.destacar.de/,"Автомобили из Германии на заказ | ...","Компания Destacar всегда готова помочь Вам в поиске, подборе, осмотре и покупке автомобиля в Германии. Мы поможем Вам купить б/у авто в Германии, сделаем осмотр и тест-драйв, чтобы Вы были полностью уверены в состоянии Вашего авто."
https://autospot.ru/brands/,"Купить автомобиль в Москве: цены на ...","✸ Подбор авто по параметрам в Москве: цены в каталоге автомобилей Autospot. ✸ Каталог автомобилей с ценами и техническими характеристиками - продажа от официальных дилеров."
https://www.autoscout24.de/auto/gebrauchtwagen/bayern/falkenstein/,"Gebrauchtwagen Falkenstein: Auto günstig kaufen","Gebrauchtwagen &amp; Jahreswagen in Falkenstein kaufen und verkaufen bei AutoScout24.de - Europas großem Automarkt » Jetzt finden oder inserieren!"
https://www-autoservice-falkenstein.skoda-auto.de/?e=7,"ŠKODA Gebrauchtwagen in Falkenstein | Auto-Service Falkenstein GmbH","ŠKODA Gebrauchtwagen in Falkenstein | Auto-Service Falkenstein GmbH ✔ Günstig finanzieren ✔ Beste ŠKODA Vorführwagen und Jahreswagen ✔ ŠKODA gebraucht kaufen ✔ Probefahrt vereinbaren"
https://auto.ru/,"Авто.ру: купить, продать и обменять ...","Данный сайт функционирует в соответствии с законодательством Российской Федерации и не предназначен для работы в вашем регионе. Продолжая использовать сайт, ..."
https://www.autohaus-schueler.de/,"Ihr Audi und VW Autohaus Schüler in Falkenstein","Ihr Autohaus Schüler in Falkenstein, Oelsnitz, Plauen &amp; Wilkau-Hasslau - Wir bieten ein großes Angebot an Neu- und Gebrauchtwagen, Audi &amp; VW Service."
...

подсказка

В Общем формате результатов применяется шаблонизатор Template Toolkit для вывода массива $serp в цикле FOREACH.

В имени файла результатов нужно просто изменить разрешение файла на csv.

Чтобы опция "Начальный текст" была доступна в Редакторе заданий, нужно активировать "Больше опций". В "Начальный текст" записываем названия столбцов через запятую и второй строку делаем пустой.

Формат результата:

$related.format('$key\n')

Пример результата:

test speed
ookla speed test
speed test wifi
internet speed test
run speed test
fast speed test
mbps test
test 2
test match
google speed test
...

Сохранение в формате SQL

Формат результата:

[%  FOREACH serp;
    "INSERT INTO serp VALUES('" _ query _ "', '";
    link _ "', '";
    anchor _ "')\n";
END  %]

Пример результата:

    
INSERT INTO serp VALUES('test', 'https://www.speedtest.net/', 'Speedtest by Ookla - The Global Broadband Speed Test')
INSERT INTO serp VALUES('test', 'https://www.merriam-webster.com/dictionary/test', 'TEST Definition & Meaning - Merriam-Webster')
INSERT INTO serp VALUES('test', 'https://englishtest.duolingo.com/', 'Duolingo English Test')
INSERT INTO serp VALUES('test', 'https://link.springer.com/journal/11749', 'Home | TEST | Springer Nature Link')
INSERT INTO serp VALUES('test', 'https://test.io/', 'Home | Test IO')
INSERT INTO serp VALUES('test', 'https://www.spectrum.com/internet/speed-test', 'Spectrum Internet Speed Test: Broadband Internet Speed Check')
INSERT INTO serp VALUES('test', 'https://fast.com/', 'Internet Speed Test | Fast.com')
INSERT INTO serp VALUES('test', 'https://en.wikipedia.org/wiki/Test', 'Test - Wikipedia')
...

Дамп результатов в JSON

Общий формат результата:

[% IF notFirst;
  ",\n";
ELSE;
  notFirst = 1;
END;

obj = {};
obj.results = [];

FOREACH item IN p1.serp;
    obj.results.push({
        link = item.link
        anchor = item.anchor
        snippet = item.snippet
    });
END;

obj.json %]

Начальный текст:

Конечный текст:

Пример результата:

{"results":[{"link":"https://www.speedtest.net/","snippet":"Use Speed<strong>test</strong> on all your devices with our free desktop and mobile apps.","anchor":"Speedtest by Ookla - The Global Broadband Speed Test"},{"link":"https://www.merriam-webster.com/dictionary/test","snippet":"The meaning of TEST is <strong>a means of testing</strong>. How to use test in a sentence.","anchor":"TEST Definition & Meaning - Merriam-Webster"},{"link":"https://englishtest.duolingo.com/","snippet":"The Duolingo English Test is a fast, affordable online English exam accepted by institutions worldwide. Take it anytime and get results in 2 days","anchor":"Duolingo English Test"},{"link":"https://link.springer.com/journal/11749","snippet":"Journal TEST <strong>focuses on cutting-edge research in all areas of Statistics and Probability with significant theoretical, methodological, and applied impact</strong>. ...","anchor":"Home | TEST | Springer Nature Link"},{"link":"https://test.io/","snippet":"Test IO delivers a full range of web, mobile, and IoT <strong>test</strong>ing, delivered as a service.","anchor":"Home | Test IO"},{"link":"https://www.spectrum.com/internet/speed-test","snippet":"Test your broadband Internet and WiFi speed with the Internet Speed Test. Check your upload and download speeds for your home Internet network.","anchor":"Spectrum Internet Speed Test: Broadband Internet Speed Check"},{"link":"https://fast.com/","snippet":"FAST.com will <strong>test</strong> Internet speed globally on any device (phone, laptop, or smart TV with browser).","anchor":"Internet Speed Test | Fast.com"},{"link":"https://en.wikipedia.org/wiki/Test","snippet":"Look up test, testing, Test, or TEST in Wiktionary, the free dictionary. ... Test (assessment), <strong>an educational assessment intended to measure the respondents&#x27; knowledge or other abilities</strong> ... Test., abbreviation for Testament, referring to the Old Testament and New Testament of the Christian Bible.","anchor":"Test - Wikipedia"},{"link":"https://speed.cloudflare.com/","snippet":"Test your Internet connection. Check your network performance with our Internet speed <strong>test</strong>. Powered by Cloudflare&#x27;s global edge network.","anchor":"Internet Speed Test - Measure Network Performance | Cloudflare"},{"link":"https://testmy.net/","snippet":"TestMy.net is a powerful broadband speed <strong>test</strong> that will <strong>test</strong> your Internet, calculate your transfer rate and output accurate, reliable and easy to understand results. TestMy.net is an independent third party and is not affiliated with your Internet service provider.","anchor":"Internet Speed Test"},{"link":"https://www.livechat.com/typing-speed-test/","snippet":"The faster you type, the faster you communicate with others. With our free typing speed <strong>test</strong>, you can check your WPM and CPM typing scores in a flash!","anchor":"Free Typing Test - Check Your Typing Speed in 60 Seconds | LiveChat ..."},{"link":"https://fiber.google.com/speedtest/","snippet":"Test your current internet speed, and find out how fast your broadband wi-fi handles uploads and downloads. See Google Fiber plan options for faster internet.","anchor":"Internet Speed Test | Check Broadband Speed | Google Fiber"},{"link":"https://zoom.us/test","snippet":"Preview your next Zoom Meeting using out <strong>test</strong> meeting tool to check your settings and display.","anchor":"Join a Test Meeting | Zoom"},{"link":"https://implicit.harvard.edu/implicit/takeatest.html","snippet":"On the next page, you&#x27;ll be asked to select an Implicit Association Test (IAT) from a list of possible topics. We&#x27;ll also ask you (optionally) to report your attitudes or beliefs about these topics and give you some information about yourself. We ask these questions because the IAT can be more valuable if you also describe your own self-understanding of the attitude or stereotype that the IAT measures.","anchor":"Take a Test"},{"link":"https://www.act.org/content/act/en/products-and-services/the-act.html","snippet":"The ACT <strong>test</strong> is a curriculum-based education and career planning tool for high school students that assesses the mastery of college readiness standards","anchor":"The ACT Test for Students | ACT"},{"link":"https://play.google.com/store/apps/details?id=org.zwanoo.android.speedtest&hl=en_US","snippet":"Test your download and upload speeds as well as three measures of latency to check a slow connection or use the app to make sure your network is ready for a gaming session. Use real-world data to find out where mobile network coverage is strong and weak for providers in your area with the Speed<strong>test</strong> Maps tab.","anchor":"Speedtest by Ookla - Apps on Google Play"},{"link":"https://speedtest.xfinity.com/","snippet":"Xfinity Speed Test – You need to enable JavaScript to run this app","anchor":"Xfinity Speed Test - Check Your Internet Speed"},{"link":"https://www.ada.org/education/testing/exams/dental-admission-test-dat","snippet":"Find out how to apply for, prepare for, take, and receive scores for the Dental Admission Test (DAT).","anchor":"Dental Admission Test (DAT) | American Dental Association"},{"link":"https://www.16personalities.com/free-personality-test","snippet":"Take our free personality <strong>test</strong> and discover your personality type in 10 minutes. Get a ‘freakishly accurate’ description of who you are and why you do things the way you do.","anchor":"Free personality test | 16Personalities"},{"link":"https://www.faa.gov/uas/recreational_flyers/knowledge_test_updates","snippet":"The law requires that all recreational flyers pass an aeronautical knowledge and safety <strong>test</strong> and provide proof of passage if asked by law enforcement or FAA personnel. The Recreational UAS Safety Test (TRUST) was developed to meet this requirement. TRUST provides education and <strong>test</strong>ing on important safety and regulatory information.","anchor":"The Recreational UAS Safety Test (TRUST) | Federal Aviation ..."}]}

подсказка

Чтобы опции "Начальный текст" и "Конечный текст" были доступны в Редакторе заданий, нужно активировать "Больше опций".

Возможные настройки

примечание

Общие настройки для всех парсеров

Название параметра	Значение по умолчанию	Описание
Serp type	`All`	Определяет парсить общую выдачу (All), новости (News) или видео (Videos)
Pages count	`5`	Количество страниц для парсинга (от 1 до 10)
Region	`All regions`	Выбор страны откуда осуществляется поиск
Display language	`English (United States)`	Возможность выбора языка интерфейса страницы выдачи, для максимальной идентичности результатов в парсере и в браузере
Safe search	`Moderate`	Возможность включить "Безопасный поиск"
Search time	`Any`	Время серпа(временно-зависимый поиск)
Local results	`On (auto, from IP)`	Локальный поиск, возможные значения: Off - выключен, Auto - локация определяется по IP запроса, Manual - используется локация, заданная в `Manual location`
Manual location		Поле для ввода точной локации, используется только при `Local results = Manual`. Локация должна быть указана в виде пары координат через запятую в формате широта,долгота, например: `55.780844,37.6572693`

Обзор парсера​

Собираемые данные​

Возможности​

Варианты использования​

Запросы​

Подстановки запросов​

Использование операторов​

Варианты вывода результатов​

Экспорт списка ссылок​

Ссылки + анкоры + сниппеты с выводом позиции​

Вывод ссылок, анкоров и сниппетов в таблицу CSV​

Сохранение связанных ключевых слов​

Сохранение в формате SQL​

Дамп результатов в JSON​

Возможные настройки​

Обзор парсера

Собираемые данные

Возможности

Варианты использования

Запросы

Подстановки запросов

Использование операторов

Варианты вывода результатов

Экспорт списка ссылок

Ссылки + анкоры + сниппеты с выводом позиции

Вывод ссылок, анкоров и сниппетов в таблицу CSV

Сохранение связанных ключевых слов

Сохранение в формате SQL

Дамп результатов в JSON

Возможные настройки