SE::Brave - Công cụ cào dữ liệu kết quả tìm kiếm Brave

Tổng quan về công cụ cào dữ liệu

Công cụ cào dữ liệu kết quả tìm kiếm Brave cho phép thu thập dữ liệu từ hệ thống tìm kiếm đang phát triển nhanh chóng, tập trung vào quyền riêng tư. Nhờ đó, bạn có thể nhận được các cơ sở dữ liệu liên kết sẵn sàng để sử dụng tiếp. Bạn có thể sử dụng các truy vấn giống hệt như khi nhập vào Brave, bao gồm cả các toán tử tìm kiếm.

Nhờ khả năng hoạt động đa luồng của A-Parser, tốc độ xử lý truy vấn có thể rất cao, cho phép xử lý khối lượng dữ liệu lớn trong thời gian ngắn.

Tính năng của A-Parser cho phép lưu các cài đặt cào dữ liệu để sử dụng sau này (mẫu thiết lập), đặt lịch trình cào dữ liệu và nhiều tính năng khác. Bạn có thể sử dụng tính năng nhân bản truy vấn, thay thế truy vấn phụ từ tệp, liệt kê các tổ hợp chữ cái-số và danh sách để nhận được số lượng kết quả tối đa có thể.

Việc lưu kết quả có thể thực hiện theo định dạng và cấu trúc mà bạn cần, nhờ vào bộ tạo mẫu mạnh mẽ được tích hợp sẵn Template Toolkit cho phép áp dụng logic bổ sung cho kết quả và xuất dữ liệu ở nhiều định dạng khác nhau, bao gồm JSON, SQL và CSV.

Chuyển đến bản DEMO Mua A-Parser Pro ($299)

Dữ liệu thu thập được

Các liên kết, anchor text và đoạn trích (snippet) từ kết quả tìm kiếm, cũng như ngày tháng từ snippet (nếu có)
Danh sách các từ khóa liên quan (Related keywords)

Tính năng

hỗ trợ tất cả các toán tử tìm kiếm của Brave (site:, inurl:, v.v.)
chỉ định số lượng trang (từ 1 đến 10), trung bình một trang Brave trả về khoảng 10 kết quả
chỉ định khu vực tìm kiếm và ngôn ngữ giao diện của trang kết quả nhận được
khả năng nhận kết quả tìm kiếm địa phương chính xác, hỗ trợ xác định vị trí theo IP hoặc chỉ định chính xác
khả năng chọn loại kết quả, ngoài kết quả hữu cơ chính, công cụ cào dữ liệu Brave có thể thu thập kết quả tin tức hoặc video
hỗ trợ chỉ định thời gian của kết quả (tất cả thời gian hoặc trong một khoảng thời gian nhất định từ 24 giờ đến một năm)
hỗ trợ phiên làm việc (sessions)

Ứng dụng

Thu thập cơ sở dữ liệu liên kết - cho XRumer, AllSubmitter, GSA Ranker, v.v.
Dump SERP, bao gồm liên kết, anchor text và snippet cho phép thực hiện phân tích sâu cho các chuyên gia SEO và marketer.
Tìm kiếm backlink và các lượt nhắc đến trang web
Bất kỳ phương án nào khác liên quan đến việc nhận kết quả tìm kiếm theo số lượng truy vấn không giới hạn

Truy vấn

Trong phần truy vấn, cần chỉ định các cụm từ tìm kiếm, giống hệt như khi bạn nhập trực tiếp vào khung tìm kiếm của Brave, ví dụ:

mua xe ô tô
cửa sổ tại Hà Nội
site:https://lenta.ru
inurl:guestbook

Thay thế truy vấn

Bạn có thể sử dụng các macro tích hợp sẵn để nhân bản truy vấn, ví dụ chúng ta muốn có một cơ sở dữ liệu diễn đàn rất lớn, để làm điều này chúng ta sẽ chỉ định một vài truy vấn chính bằng các ngôn ngữ khác nhau:

forum
diễn đàn
foro
论坛

Trong định dạng truy vấn, chúng ta sẽ chỉ định liệt kê các ký tự từ a đến zzzz, phương pháp này cho phép xoay vòng kết quả tìm kiếm tối đa và nhận được nhiều kết quả mới duy nhất:

$query {az:a:zzzz}

Macro này sẽ tạo ra 475254 truy vấn bổ sung cho mỗi truy vấn tìm kiếm gốc, tổng cộng sẽ cho ra 4 x 475254 = 1901016 truy vấn tìm kiếm, một con số ấn tượng, nhưng điều này hoàn toàn không phải là vấn đề đối với A-Parser. Với tốc độ 2000 truy vấn mỗi phút, nhiệm vụ này sẽ được xử lý chỉ trong 16 giờ.

Sử dụng toán tử

Bạn có thể sử dụng các toán tử tìm kiếm trong định dạng truy vấn, theo cách này nó sẽ được tự động thêm vào mỗi truy vấn từ danh sách của bạn, ví dụ:

inurl:$query

Các tùy chọn xuất kết quả

A-Parser hỗ trợ định dạng kết quả linh hoạt nhờ bộ tạo mẫu tích hợp Template Toolkit, cho phép nó xuất kết quả ở dạng tùy ý, cũng như ở dạng có cấu trúc như CSV hoặc JSON

Xuất danh sách liên kết

Định dạng kết quả:

$serp.format('$link\n')

Ví dụ kết quả:

https://www.mobile.de/ru
https://auto.drom.ru/
https://autospot.ru/brands/
https://www.destacar.de/
https://www.autoscout24.de/auto/gebrauchtwagen/bayern/falkenstein/
https://www-autoservice-falkenstein.skoda-auto.de/?e=7
https://auto.ru/
https://www.autohaus-schueler.de/
https://www.avtogermes.ru/sale/
https://falkenstein.seat.de/
...

Liên kết + anchor text + snippet kèm theo vị trí

Định dạng kết quả:

[% FOREACH item IN serp;
    loop.count _ ' - ' _ item.link _ ' - ' _ item.anchor _ ' - ' _ item.snippet _ "\n";
END %]

Ví dụ kết quả:

- https://www.mobile.de/ru - mobile.de: xe ô tô cũ — tin đăng về ... - mobile.de/ru là một phần của mobile.de, thị trường ô tô lớn nhất tại Đức. mobile.de giúp việc mua xe trở nên đơn giản hơn. Với tính năng tìm kiếm đơn giản và vài cú nhấp chuột, bạn sẽ có cái nhìn toàn cảnh về thị trường.
- https://auto.drom.ru/ - Bán xe ô tô tại Nga. Giá rẻ... - 775 361 tin đăng bán xe ô tô. Bán xe mới và xe đã qua sử dụng từ 10 000 rúp. Showroom và tin đăng cá nhân.
- https://www.destacar.de/ - Ô tô từ Đức theo yêu cầu | ... - Công ty Destacar luôn sẵn sàng giúp bạn tìm kiếm, lựa chọn, kiểm tra và mua xe tại Đức. Chúng tôi sẽ giúp bạn mua xe cũ tại Đức, thực hiện kiểm tra và lái thử để bạn hoàn toàn yên tâm về tình trạng xe của mình.
- https://autospot.ru/brands/ - Mua xe ô tô tại Moscow: giá trên ... - ✸ Chọn xe theo thông số tại Moscow: giá trong danh mục ô tô Autospot. ✸ Danh mục ô tô kèm giá và thông số kỹ thuật - bán từ các đại lý chính thức.
- https://www.autoscout24.de/auto/gebrauchtwagen/bayern/falkenstein/ - Gebrauchtwagen Falkenstein: Auto günstig kaufen - Gebrauchtwagen &amp; Jahreswagen in Falkenstein kaufen und verkaufen bei AutoScout24.de - Europas großem Automarkt » Jetzt finden oder inserieren!
- https://www-autoservice-falkenstein.skoda-auto.de/?e=7 - ŠKODA Gebrauchtwagen in Falkenstein | Auto-Service Falkenstein GmbH - ŠKODA Gebrauchtwagen in Falkenstein | Auto-Service Falkenstein GmbH ✔ Günstig finanzieren ✔ Beste ŠKODA Vorführwagen und Jahreswagen ✔ ŠKODA gebraucht kaufen ✔ Probefahrt vereinbaren
- https://auto.ru/ - Auto.ru: mua, bán và trao đổi ... - Trang web này hoạt động theo luật pháp của Liên bang Nga và không dành cho khu vực của bạn. Tiếp tục sử dụng trang web, ...
- https://www.autohaus-schueler.de/ - Ihr Audi und VW Autohaus Schüler in Falkenstein - Ihr Autohaus Schüler in Falkenstein, Oelsnitz, Plauen &amp; Wilkau-Hasslau - Wir bieten ein großes Angebot an Neu- und Gebrauchtwagen, Audi &amp; VW Service.
...

Xuất liên kết, anchor text và snippet vào bảng CSV

Công cụ tích hợp $tools.CSVLine cho phép tạo các tài liệu bảng chính xác, sẵn sàng để nhập vào Excel hoặc Google Sheets.

Định dạng kết quả chung:

[%  FOREACH item IN p1.serp;
    tools.CSVline(item.link, item.anchor, item.snippet);
END  %]

Tên tệp:

$datefile.format().csv

Văn bản bắt đầu:

Liên kết,Anchor,Snippet

Ví dụ kết quả:

Liên kết,Anchor,Snippet
https://www.mobile.de/ru,"mobile.de: xe ô tô cũ — tin đăng về ...","mobile.de/ru là một phần của mobile.de, thị trường ô tô lớn nhất tại Đức. mobile.de giúp việc mua xe trở nên đơn giản hơn. Với tính năng tìm kiếm đơn giản và vài cú nhấp chuột, bạn sẽ có cái nhìn toàn cảnh về thị trường."
https://auto.drom.ru/,"Bán xe ô tô tại Nga. Giá rẻ...","775 361 tin đăng bán xe ô tô. Bán xe mới và xe đã qua sử dụng từ 10 000 rúp. Showroom và tin đăng cá nhân."
https://www.destacar.de/,"Ô tô từ Đức theo yêu cầu | ...","Công ty Destacar luôn sẵn sàng giúp bạn tìm kiếm, lựa chọn, kiểm tra và mua xe tại Đức. Chúng tôi sẽ giúp bạn mua xe cũ tại Đức, thực hiện kiểm tra và lái thử để bạn hoàn toàn yên tâm về tình trạng xe của mình."
https://autospot.ru/brands/,"Mua xe ô tô tại Moscow: giá trên ...","✸ Chọn xe theo thông số tại Moscow: giá trong danh mục ô tô Autospot. ✸ Danh mục ô tô kèm giá và thông số kỹ thuật - bán từ các đại lý chính thức."
https://www.autoscout24.de/auto/gebrauchtwagen/bayern/falkenstein/,"Gebrauchtwagen Falkenstein: Auto günstig kaufen","Gebrauchtwagen &amp; Jahreswagen in Falkenstein kaufen und verkaufen bei AutoScout24.de - Europas großem Automarkt » Jetzt finden oder inserieren!"
https://www-autoservice-falkenstein.skoda-auto.de/?e=7,"ŠKODA Gebrauchtwagen in Falkenstein | Auto-Service Falkenstein GmbH","ŠKODA Gebrauchtwagen in Falkenstein | Auto-Service Falkenstein GmbH ✔ Günstig finanzieren ✔ Beste ŠKODA Vorführwagen und Jahreswagen ✔ ŠKODA gebraucht kaufen ✔ Probefahrt vereinbaren"
https://auto.ru/,"Auto.ru: mua, bán và trao đổi ...","Trang web này hoạt động theo luật pháp của Liên bang Nga và không dành cho khu vực của bạn. Tiếp tục sử dụng trang web, ..."
https://www.autohaus-schueler.de/,"Ihr Audi und VW Autohaus Schüler in Falkenstein","Ihr Autohaus Schüler in Falkenstein, Oelsnitz, Plauen &amp; Wilkau-Hasslau - Wir bieten ein großes Angebot an Neu- und Gebrauchtwagen, Audi &amp; VW Service."
...

mẹo

Trong Định dạng kết quả chung, bộ tạo mẫu Template Toolkit được áp dụng để xuất mảng $serp trong vòng lặp FOREACH.

Trong tên tệp kết quả, bạn chỉ cần thay đổi phần mở rộng tệp thành csv.

Để tùy chọn "Prepend text" hiển thị trong Trình chỉnh sửa tác vụ, bạn cần kích hoạt "More options". Trong "Prepend text", chúng ta ghi tên các cột cách nhau bằng dấu phẩy và để dòng thứ hai trống.

Định dạng kết quả:

$related.format('$key\n')

Ví dụ kết quả:

test speed
ookla speed test
speed test wifi
internet speed test
run speed test
fast speed test
mbps test
test 2
test match
google speed test
...

Lưu ở định dạng SQL

Định dạng kết quả:

[%  FOREACH serp;
    "INSERT INTO serp VALUES('" _ query _ "', '";
    link _ "', '";
    anchor _ "')\n";
END  %]

Ví dụ kết quả:

    
INSERT INTO serp VALUES('test', 'https://www.speedtest.net/', 'Speedtest by Ookla - The Global Broadband Speed Test')
INSERT INTO serp VALUES('test', 'https://www.merriam-webster.com/dictionary/test', 'TEST Definition & Meaning - Merriam-Webster')
INSERT INTO serp VALUES('test', 'https://englishtest.duolingo.com/', 'Duolingo English Test')
INSERT INTO serp VALUES('test', 'https://link.springer.com/journal/11749', 'Home | TEST | Springer Nature Link')
INSERT INTO serp VALUES('test', 'https://test.io/', 'Home | Test IO')
INSERT INTO serp VALUES('test', 'https://www.spectrum.com/internet/speed-test', 'Spectrum Internet Speed Test: Broadband Internet Speed Check')
INSERT INTO serp VALUES('test', 'https://fast.com/', 'Internet Speed Test | Fast.com')
INSERT INTO serp VALUES('test', 'https://en.wikipedia.org/wiki/Test', 'Test - Wikipedia')
...

Dump kết quả sang JSON

Định dạng kết quả chung:

[% IF notFirst;
  ",\n";
ELSE;
  notFirst = 1;
END;

obj = {};
obj.results = [];

FOREACH item IN p1.serp;
    obj.results.push({
        link = item.link
        anchor = item.anchor
        snippet = item.snippet
    });
END;

obj.json %]

Văn bản bắt đầu:

Văn bản kết thúc:

Ví dụ kết quả:

{"results":[{"link":"https://www.speedtest.net/","snippet":"Use Speed<strong>test</strong> on all your devices with our free desktop and mobile apps.","anchor":"Speedtest by Ookla - The Global Broadband Speed Test"},{"link":"https://www.merriam-webster.com/dictionary/test","snippet":"The meaning of TEST is <strong>a means of testing</strong>. How to use test in a sentence.","anchor":"TEST Definition & Meaning - Merriam-Webster"},{"link":"https://englishtest.duolingo.com/","snippet":"The Duolingo English Test is a fast, affordable online English exam accepted by institutions worldwide. Take it anytime and get results in 2 days","anchor":"Duolingo English Test"},{"link":"https://link.springer.com/journal/11749","snippet":"Journal TEST <strong>focuses on cutting-edge research in all areas of Statistics and Probability with significant theoretical, methodological, and applied impact</strong>. ...","anchor":"Home | TEST | Springer Nature Link"},{"link":"https://test.io/","snippet":"Test IO delivers a full range of web, mobile, and IoT <strong>test</strong>ing, delivered as a service.","anchor":"Home | Test IO"},{"link":"https://www.spectrum.com/internet/speed-test","snippet":"Test your broadband Internet and WiFi speed with the Internet Speed Test. Check your upload and download speeds for your home Internet network.","anchor":"Spectrum Internet Speed Test: Broadband Internet Speed Check"},{"link":"https://fast.com/","snippet":"FAST.com will <strong>test</strong> Internet speed globally on any device (phone, laptop, or smart TV with browser).","anchor":"Internet Speed Test | Fast.com"},{"link":"https://en.wikipedia.org/wiki/Test","snippet":"Look up test, testing, Test, or TEST in Wiktionary, the free dictionary. ... Test (assessment), <strong>an educational assessment intended to measure the respondents&#x27; knowledge or other abilities</strong> ... Test., abbreviation for Testament, referring to the Old Testament and New Testament of the Christian Bible.","anchor":"Test - Wikipedia"},{"link":"https://speed.cloudflare.com/","snippet":"Test your Internet connection. Check your network performance with our Internet speed <strong>test</strong>. Powered by Cloudflare&#x27;s global edge network.","anchor":"Internet Speed Test - Measure Network Performance | Cloudflare"},{"link":"https://testmy.net/","snippet":"TestMy.net is a powerful broadband speed <strong>test</strong> that will <strong>test</strong> your Internet, calculate your transfer rate and output accurate, reliable and easy to understand results. TestMy.net is an independent third party and is not affiliated with your Internet service provider.","anchor":"Internet Speed Test"},{"link":"https://www.livechat.com/typing-speed-test/","snippet":"The faster you type, the faster you communicate with others. With our free typing speed <strong>test</strong>, you can check your WPM and CPM typing scores in a flash!","anchor":"Free Typing Test - Check Your Typing Speed in 60 Seconds | LiveChat ..."},{"link":"https://fiber.google.com/speedtest/","snippet":"Test your current internet speed, and find out how fast your broadband wi-fi handles uploads and downloads. See Google Fiber plan options for faster internet.","anchor":"Internet Speed Test | Check Broadband Speed | Google Fiber"},{"link":"https://zoom.us/test","snippet":"Preview your next Zoom Meeting using out <strong>test</strong> meeting tool to check your settings and display.","anchor":"Join a Test Meeting | Zoom"},{"link":"https://implicit.harvard.edu/implicit/takeatest.html","snippet":"On the next page, you&#x27;ll be asked to select an Implicit Association Test (IAT) from a list of possible topics. We&#x27;ll also ask you (optionally) to report your attitudes or beliefs about these topics and give you some information about yourself. We ask these questions because the IAT can be more valuable if you also describe your own self-understanding of the attitude or stereotype that the IAT measures.","anchor":"Take a Test"},{"link":"https://www.act.org/content/act/en/products-and-services/the-act.html","snippet":"The ACT <strong>test</strong> is a curriculum-based education and career planning tool for high school students that assesses the mastery of college readiness standards","anchor":"The ACT Test for Students | ACT"},{"link":"https://play.google.com/store/apps/details?id=org.zwanoo.android.speedtest&hl=en_US","snippet":"Test your download and upload speeds as well as three measures of latency to check a slow connection or use the app to make sure your network is ready for a gaming session. Use real-world data to find out where mobile network coverage is strong and weak for providers in your area with the Speed<strong>test</strong> Maps tab.","anchor":"Speedtest by Ookla - Apps on Google Play"},{"link":"https://speedtest.xfinity.com/","snippet":"Xfinity Speed Test – You need to enable JavaScript to run this app","anchor":"Xfinity Speed Test - Check Your Internet Speed"},{"link":"https://www.ada.org/education/testing/exams/dental-admission-test-dat","snippet":"Find out how to apply for, prepare for, take, and receive scores for the Dental Admission Test (DAT).","anchor":"Dental Admission Test (DAT) | American Dental Association"},{"link":"https://www.16personalities.com/free-personality-test","snippet":"Take our free personality <strong>test</strong> and discover your personality type in 10 minutes. Get a ‘freakishly accurate’ description of who you are and why you do things the way you do.","anchor":"Free personality test | 16Personalities"},{"link":"https://www.faa.gov/uas/recreational_flyers/knowledge_test_updates","snippet":"The law requires that all recreational flyers pass an aeronautical knowledge and safety <strong>test</strong> and provide proof of passage if asked by law enforcement or FAA personnel. The Recreational UAS Safety Test (TRUST) was developed to meet this requirement. TRUST provides education and <strong>test</strong>ing on important safety and regulatory information.","anchor":"The Recreational UAS Safety Test (TRUST) | Federal Aviation ..."}]}

mẹo

Để tùy chọn "Prepend text" và "Append text" hiển thị trong Trình chỉnh sửa tác vụ, bạn cần kích hoạt "More options".

Các cài đặt có thể

ghi chú

Cài đặt chung cho tất cả công cụ cào dữ liệu

Tên tham số	Giá trị mặc định	Mô tả
Serp type	`All`	Xác định cào kết quả chung (All), tin tức (News) hoặc video (Videos)
Pages count	`5`	Số lượng trang để cào (từ 1 đến 10)
Region	`All regions`	Chọn quốc gia nơi thực hiện tìm kiếm
Display language	`English (United States)`	Khả năng chọn ngôn ngữ giao diện của trang kết quả, để có sự đồng nhất tối đa giữa kết quả trong công cụ cào dữ liệu và trong trình duyệt
Safe search	`Moderate`	Khả năng bật "Safe search"
Search time	`Any`	Thời gian của SERP (tìm kiếm phụ thuộc thời gian)
Local results	`On (auto, from IP)`	Tìm kiếm địa phương, các giá trị có thể: Off - tắt, Auto - vị trí được xác định theo IP của truy vấn, Manual - sử dụng vị trí được chỉ định trong `Manual location`
Manual location		Trường để nhập vị trí chính xác, chỉ được sử dụng khi `Local results = Manual`. Vị trí phải được chỉ định dưới dạng cặp tọa độ cách nhau bằng dấu phẩy theo định dạng vĩ độ,kinh độ, ví dụ: `55.780844,37.6572693`

Tổng quan về công cụ cào dữ liệu​

Dữ liệu thu thập được​

Tính năng​

Ứng dụng​

Truy vấn​

Thay thế truy vấn​

Sử dụng toán tử​

Các tùy chọn xuất kết quả​

Xuất danh sách liên kết​

Liên kết + anchor text + snippet kèm theo vị trí​

Xuất liên kết, anchor text và snippet vào bảng CSV​

Lưu các từ khóa liên quan​

Lưu ở định dạng SQL​

Dump kết quả sang JSON​

Các cài đặt có thể​

Tổng quan về công cụ cào dữ liệu

Dữ liệu thu thập được

Tính năng

Ứng dụng

Truy vấn

Thay thế truy vấn

Sử dụng toán tử

Các tùy chọn xuất kết quả

Xuất danh sách liên kết

Liên kết + anchor text + snippet kèm theo vị trí

Xuất liên kết, anchor text và snippet vào bảng CSV

Lưu các từ khóa liên quan

Lưu ở định dạng SQL

Dump kết quả sang JSON

Các cài đặt có thể