SE::Brave - Brave検索結果スクレイパー

スクレイパーの概要

Brave検索結果スクレイパーは、プライバシーを重視した急成長中の検索エンジンからデータを収集することを可能にします。これにより、さらなる利用に備えたリンクベースを取得できます。検索演算子を含む、Braveで入力するのと同様の形式でクエリを使用できます。

A-Parserのマルチスレッド動作により、クエリの処理速度を非常に高く保つことができ、大量のデータを短時間で処理することが可能です。

A-Parserの機能により、スクレイピング設定を将来の利用のために保存（プリセット）したり、スクレイピングのスケジュールを設定したりすることが可能です。クエリの増殖、ファイルからのサブクエリの置換、英数字の組み合わせやリストの総当たりを使用して、可能な限り多くの結果を取得できます。

結果の保存は、内蔵された強力なテンプレートエンジン Template Toolkit により、必要な形式と構造で行うことができます。これにより、結果に追加のロジックを適用し、JSON、SQL、CSVを含む様々なフォーマットでデータを出力できます。

オンラインデモへ A-Parser Proを購入 ($299)

収集データ

検索結果のリンク、アンカー、スニペット、およびスニペット内の日付（存在する場合）
関連キーワード（Related keywords）のリスト

機能

すべてのBrave検索演算子（site:、inurl: など）をサポート
ページ数の指定（1から10まで）、Braveは1ページあたり平均約10件の結果を表示します
取得するページの検索地域およびインターフェース言語の指定
正確なローカル検索結果を取得可能。IPによる位置特定または直接指定をサポート
検索タイプの選択が可能。通常のオーガニック検索のほか、ニュースまたは動画の検索結果を収集可能
検索期間の指定をサポート（全期間、または24時間から1年までの特定の期間）
セッションのサポート

ユースケース

リンクベースの収集 - XRumer、AllSubmitter、GSA Rankerなどのため
リンク、アンカー、スニペットを含むSERPのダンプにより、SEO担当者やマーケター向けの深い分析が可能
バックリンクやサイトの言及の検索
無制限のクエリによる検索結果の取得を伴うその他のあらゆるケース

クエリ

クエリには、Braveの検索フォームに直接入力する場合と同じように、検索フレーズを指定する必要があります。例：

車の購入
キエフ 窓
site:https://lenta.ru
inurl:guestbook

クエリの置換

クエリを増殖させるために内蔵マクロを使用できます。例えば、非常に大規模なフォーラムのデータベースを取得したい場合、複数の言語でいくつかのメインクエリを指定します：

forum
フォーラム
foro
论坛

クエリ形式で a から zzzz までの文字の総当たりを指定します。この手法により、検索結果を最大限にローテーションさせ、多くの新しいユニークな結果を得ることができます：

$query {az:a:zzzz}

このマクロは、元の各検索クエリに対して 475254 個の追加クエリを作成し、合計で 4 x 475254 = 1901016 個の検索クエリになります。驚くべき数字ですが、A-Parserにとっては全く問題ありません。毎分 2000 クエリの速度であれば、このタスクはわずか 16 時間で処理されます。

演算子の使用

クエリ形式で検索演算子を使用できます。これにより、リスト内の各クエリに自動的に追加されます。例：

inurl:$query

結果の出力例

A-Parserは、内蔵のテンプレートエンジン Template Toolkit により柔軟な結果のフォーマットをサポートしており、任意の形式やCSV、JSONなどの構造化された形式で結果を出力できます。

リンク一覧のエクスポート

結果フォーマット:

$serp.format('$link\n')

結果の例:

https://www.mobile.de/ru
https://auto.drom.ru/
https://autospot.ru/brands/
https://www.destacar.de/
https://www.autoscout24.de/auto/gebrauchtwagen/bayern/falkenstein/
https://www-autoservice-falkenstein.skoda-auto.de/?e=7
https://auto.ru/
https://www.autohaus-schueler.de/
https://www.avtogermes.ru/sale/
https://falkenstein.seat.de/
...

リンク + アンカー + スニペット（順位出力付き）

結果フォーマット:

[% FOREACH item IN serp;
    loop.count _ ' - ' _ item.link _ ' - ' _ item.anchor _ ' - ' _ item.snippet _ "\n";
END %]

結果の例:

- https://www.mobile.de/ru - mobile.de: 中古車 — 広告 ... - mobile.de/ru は、ドイツ最大の自動車市場である mobile.de の一部です。mobile.de は車の購入を簡素化します。簡単な検索と数回のクリックで、市場の全体像を把握できます。
- https://auto.drom.ru/ - ロシアでの自動車販売。中古... - 775,361件の自動車販売広告。10,000ルーブルからの新車および中古車の販売。ディーラーおよび個人広告。
- https://www.destacar.de/ - ドイツからの注文販売車 | ... - Destacar社は、ドイツでの車の検索、選定、検査、購入をいつでもお手伝いします。ドイツでの中古車購入をサポートし、検査や試乗を行い、お客様が車の状態に完全に自信を持てるようにします。
- https://autospot.ru/brands/ - モスクワで車を購入：価格 ... - ✸ モスクワでのパラメータによる車の選定：Autospotの自動車カタログの価格。 ✸ 価格と技術特性を備えた自動車カタログ - 正規ディーラーからの販売。
- https://www.autoscout24.de/auto/gebrauchtwagen/bayern/falkenstein/ - Gebrauchtwagen Falkenstein: Auto günstig kaufen - Gebrauchtwagen &amp; Jahreswagen in Falkenstein kaufen und verkaufen bei AutoScout24.de - Europas großem Automarkt » Jetzt finden oder inserieren!
- https://www-autoservice-falkenstein.skoda-auto.de/?e=7 - ŠKODA Gebrauchtwagen in Falkenstein | Auto-Service Falkenstein GmbH - ŠKODA Gebrauchtwagen in Falkenstein | Auto-Service Falkenstein GmbH ✔ Günstig finanzieren ✔ Beste ŠKODA Vorführwagen und Jahreswagen ✔ ŠKODA gebraucht kaufen ✔ Probefahrt vereinbaren
- https://auto.ru/ - Auto.ru：購入、販売、交換 ... - このサイトはロシア連邦の法律に従って運営されており、お客様の地域での利用を意図したものではありません。サイトの利用を継続することで、...
- https://www.autohaus-schueler.de/ - Ihr Audi und VW Autohaus Schüler in Falkenstein - Ihr Autohaus Schüler in Falkenstein, Oelsnitz, Plauen &amp; Wilkau-Hasslau - Wir bieten ein großes Angebot an Neu- und Gebrauchtwagen, Audi &amp; VW Service.
...

リンク、アンカー、スニペットをCSVテーブルに出力

内蔵ユーティリティ $tools.CSVLine を使用すると、ExcelやGoogleスプレッドシートにインポート可能な正しい形式のテーブルドキュメントを作成できます。

全体の結果フォーマット:

[%  FOREACH item IN p1.serp;
    tools.CSVline(item.link, item.anchor, item.snippet);
END  %]

ファイル名:

$datefile.format().csv

開始テキスト:

リンク,アンカー,スニペット

結果の例:

リンク,アンカー,スニペット
https://www.mobile.de/ru,"mobile.de: 中古車 — 広告...","mobile.de/ru は、ドイツ最大の自動車市場である mobile.de の一部です。mobile.de は車の購入を簡素化します。簡単な検索と数回のクリックで、市場の全体像を把握できます。"
https://auto.drom.ru/,"ロシアでの自動車販売。中古...","775,361件の自動車販売広告。10,000ルーブルからの新車および中古車の販売。ディーラーおよび個人広告。"
https://www.destacar.de/,"ドイツからの注文販売車 | ...","Destacar社は、ドイツでの車の検索、選定、検査、購入をいつでもお手伝いします。ドイツでの中古車購入をサポートし、検査や試乗を行い、お客様が車の状態に完全に自信を持てるようにします。"
https://autospot.ru/brands/,"モスクワで車を購入：価格 ...","✸ モスクワでのパラメータによる車の選定：Autospotの自動車カタログの価格。 ✸ 価格と技術特性を備えた自動車カタログ - 正規ディーラーからの販売。"
https://www.autoscout24.de/auto/gebrauchtwagen/bayern/falkenstein/,"Gebrauchtwagen Falkenstein: Auto günstig kaufen","Gebrauchtwagen &amp; Jahreswagen in Falkenstein kaufen und verkaufen bei AutoScout24.de - Europas großem Automarkt » Jetzt finden oder inserieren!"
https://www-autoservice-falkenstein.skoda-auto.de/?e=7,"ŠKODA Gebrauchtwagen in Falkenstein | Auto-Service Falkenstein GmbH","ŠKODA Gebrauchtwagen in Falkenstein | Auto-Service Falkenstein GmbH ✔ Günstig finanzieren ✔ Beste ŠKODA Vorführwagen und Jahreswagen ✔ ŠKODA gebraucht kaufen ✔ Probefahrt vereinbaren"
https://auto.ru/,"Auto.ru：購入、販売、交換 ...","このサイトはロシア連邦の法律に従って運営されており、お客様の地域での利用を意図したものではありません。サイトの利用を継続することで、..."
https://www.autohaus-schueler.de/,"Ihr Audi und VW Autohaus Schüler in Falkenstein","Ihr Autohaus Schüler in Falkenstein, Oelsnitz, Plauen &amp; Wilkau-Hasslau - Wir bieten ein großes Angebot an Neu- und Gebrauchtwagen, Audi &amp; VW Service."
...

ヒント

結果の全体フォーマットでは、FOREACH ループで $serp 配列を出力するために Template Toolkit テンプレートエンジンが適用されます。

結果のファイル名では、ファイルの拡張子を csv に変更するだけです。

タスクエディタで「Prepend text」オプションを使用できるようにするには、「More options」を有効にする必要があります。「Prepend text」には、カラム名をカンマ区切りで記入し、2行目を空行にします。

結果フォーマット:

$related.format('$key\n')

結果の例:

test speed
ookla speed test
speed test wifi
internet speed test
run speed test
fast speed test
mbps test
test 2
test match
google speed test
...

SQL形式での保存

結果フォーマット:

[%  FOREACH serp;
    "INSERT INTO serp VALUES('" _ query _ "', '";
    link _ "', '";
    anchor _ "')\n";
END  %]

結果の例:

    
INSERT INTO serp VALUES('test', 'https://www.speedtest.net/', 'Speedtest by Ookla - The Global Broadband Speed Test')
INSERT INTO serp VALUES('test', 'https://www.merriam-webster.com/dictionary/test', 'TEST Definition & Meaning - Merriam-Webster')
INSERT INTO serp VALUES('test', 'https://englishtest.duolingo.com/', 'Duolingo English Test')
INSERT INTO serp VALUES('test', 'https://link.springer.com/journal/11749', 'Home | TEST | Springer Nature Link')
INSERT INTO serp VALUES('test', 'https://test.io/', 'Home | Test IO')
INSERT INTO serp VALUES('test', 'https://www.spectrum.com/internet/speed-test', 'Spectrum Internet Speed Test: Broadband Internet Speed Check')
INSERT INTO serp VALUES('test', 'https://fast.com/', 'Internet Speed Test | Fast.com')
INSERT INTO serp VALUES('test', 'https://en.wikipedia.org/wiki/Test', 'Test - Wikipedia')
...

結果のJSONへのダンプ

共通結果形式:

[% IF notFirst;
  ",\n";
ELSE;
  notFirst = 1;
END;

obj = {};
obj.results = [];

FOREACH item IN p1.serp;
    obj.results.push({
        link = item.link
        anchor = item.anchor
        snippet = item.snippet
    });
END;

obj.json %]

開始テキスト:

終了テキスト:

結果の例:

{"results":[{"link":"https://www.speedtest.net/","snippet":"Use Speed<strong>test</strong> on all your devices with our free desktop and mobile apps.","anchor":"Speedtest by Ookla - The Global Broadband Speed Test"},{"link":"https://www.merriam-webster.com/dictionary/test","snippet":"The meaning of TEST is <strong>a means of testing</strong>. How to use test in a sentence.","anchor":"TEST Definition & Meaning - Merriam-Webster"},{"link":"https://englishtest.duolingo.com/","snippet":"The Duolingo English Test is a fast, affordable online English exam accepted by institutions worldwide. Take it anytime and get results in 2 days","anchor":"Duolingo English Test"},{"link":"https://link.springer.com/journal/11749","snippet":"Journal TEST <strong>focuses on cutting-edge research in all areas of Statistics and Probability with significant theoretical, methodological, and applied impact</strong>. ...","anchor":"Home | TEST | Springer Nature Link"},{"link":"https://test.io/","snippet":"Test IO delivers a full range of web, mobile, and IoT <strong>test</strong>ing, delivered as a service.","anchor":"Home | Test IO"},{"link":"https://www.spectrum.com/internet/speed-test","snippet":"Test your broadband Internet and WiFi speed with the Internet Speed Test. Check your upload and download speeds for your home Internet network.","anchor":"Spectrum Internet Speed Test: Broadband Internet Speed Check"},{"link":"https://fast.com/","snippet":"FAST.com will <strong>test</strong> Internet speed globally on any device (phone, laptop, or smart TV with browser).","anchor":"Internet Speed Test | Fast.com"},{"link":"https://en.wikipedia.org/wiki/Test","snippet":"Look up test, testing, Test, or TEST in Wiktionary, the free dictionary. ... Test (assessment), <strong>an educational assessment intended to measure the respondents&#x27; knowledge or other abilities</strong> ... Test., abbreviation for Testament, referring to the Old Testament and New Testament of the Christian Bible.","anchor":"Test - Wikipedia"},{"link":"https://speed.cloudflare.com/","snippet":"Test your Internet connection. Check your network performance with our Internet speed <strong>test</strong>. Powered by Cloudflare&#x27;s global edge network.","anchor":"Internet Speed Test - Measure Network Performance | Cloudflare"},{"link":"https://testmy.net/","snippet":"TestMy.net is a powerful broadband speed <strong>test</strong> that will <strong>test</strong> your Internet, calculate your transfer rate and output accurate, reliable and easy to understand results. TestMy.net is an independent third party and is not affiliated with your Internet service provider.","anchor":"Internet Speed Test"},{"link":"https://www.livechat.com/typing-speed-test/","snippet":"The faster you type, the faster you communicate with others. With our free typing speed <strong>test</strong>, you can check your WPM and CPM typing scores in a flash!","anchor":"Free Typing Test - Check Your Typing Speed in 60 Seconds | LiveChat ..."},{"link":"https://fiber.google.com/speedtest/","snippet":"Test your current internet speed, and find out how fast your broadband wi-fi handles uploads and downloads. See Google Fiber plan options for faster internet.","anchor":"Internet Speed Test | Check Broadband Speed | Google Fiber"},{"link":"https://zoom.us/test","snippet":"Preview your next Zoom Meeting using out <strong>test</strong> meeting tool to check your settings and display.","anchor":"Join a Test Meeting | Zoom"},{"link":"https://implicit.harvard.edu/implicit/takeatest.html","snippet":"On the next page, you&#x27;ll be asked to select an Implicit Association Test (IAT) from a list of possible topics. We&#x27;ll also ask you (optionally) to report your attitudes or beliefs about these topics and give you some information about yourself. We ask these questions because the IAT can be more valuable if you also describe your own self-understanding of the attitude or stereotype that the IAT measures.","anchor":"Take a Test"},{"link":"https://www.act.org/content/act/en/products-and-services/the-act.html","snippet":"The ACT <strong>test</strong> is a curriculum-based education and career planning tool for high school students that assesses the mastery of college readiness standards","anchor":"The ACT Test for Students | ACT"},{"link":"https://play.google.com/store/apps/details?id=org.zwanoo.android.speedtest&hl=en_US","snippet":"Test your download and upload speeds as well as three measures of latency to check a slow connection or use the app to make sure your network is ready for a gaming session. Use real-world data to find out where mobile network coverage is strong and weak for providers in your area with the Speed<strong>test</strong> Maps tab.","anchor":"Speedtest by Ookla - Apps on Google Play"},{"link":"https://speedtest.xfinity.com/","snippet":"Xfinity Speed Test – You need to enable JavaScript to run this app","anchor":"Xfinity Speed Test - Check Your Internet Speed"},{"link":"https://www.ada.org/education/testing/exams/dental-admission-test-dat","snippet":"Find out how to apply for, prepare for, take, and receive scores for the Dental Admission Test (DAT).","anchor":"Dental Admission Test (DAT) | American Dental Association"},{"link":"https://www.16personalities.com/free-personality-test","snippet":"Take our free personality <strong>test</strong> and discover your personality type in 10 minutes. Get a ‘freakishly accurate’ description of who you are and why you do things the way you do.","anchor":"Free personality test | 16Personalities"},{"link":"https://www.faa.gov/uas/recreational_flyers/knowledge_test_updates","snippet":"The law requires that all recreational flyers pass an aeronautical knowledge and safety <strong>test</strong> and provide proof of passage if asked by law enforcement or FAA personnel. The Recreational UAS Safety Test (TRUST) was developed to meet this requirement. TRUST provides education and <strong>test</strong>ing on important safety and regulatory information.","anchor":"The Recreational UAS Safety Test (TRUST) | Federal Aviation ..."}]}

ヒント

タスクエディタで「Prepend text」および「Append text」オプションを使用できるようにするには、「More options」を有効にする必要があります。

設定可能な項目

注記

すべてのスクレイパーに共通の設定

パラメータ名	デフォルト値	説明
Serp type	`All`	通常の検索結果 (All)、ニュース (News)、または動画 (Videos) のどれをスクレイピングするかを決定します
Pages count	`5`	スクレイピングするページ数 (1から10まで)
Region	`All regions`	検索を実行する国の選択
Display language	`English (United States)`	スクレイパーとブラウザでの結果を最大限一致させるための、検索結果ページのインターフェース言語の選択
Safe search	`Moderate`	「Safe search」を有効にする機能
Search time	`Any`	SERPの時間（時間依存の検索）
Local results	`On (auto, from IP)`	ローカル検索。設定可能な値：Off - 無効、Auto - リクエストのIPから位置を特定、Manual - `Manual location` で指定された位置を使用
Manual location		正確な位置を入力するためのフィールド。`Local results = Manual` の場合のみ使用されます。位置は緯度,経度の形式でカンマ区切りの座標ペアとして指定する必要があります。例：`55.780844,37.6572693`

スクレイパーの概要​

収集データ​

機能​

ユースケース​

クエリ​

クエリの置換​

演算子の使用​

結果の出力例​

リンク一覧のエクスポート​

リンク + アンカー + スニペット（順位出力付き）​

リンク、アンカー、スニペットをCSVテーブルに出力​

関連キーワードの保存​

SQL形式での保存​

結果のJSONへのダンプ​

設定可能な項目​

スクレイパーの概要

収集データ

機能

ユースケース

クエリ

クエリの置換

演算子の使用

結果の出力例

リンク一覧のエクスポート

リンク + アンカー + スニペット（順位出力付き）

リンク、アンカー、スニペットをCSVテーブルに出力

関連キーワードの保存

SQL形式での保存

結果のJSONへのダンプ

設定可能な項目