Ana içeriğe atla

SE::Brave - Brave Arama Sonuçları Veri Kazıyıcı

Brave

Brave Veri Kazıyıcı Genel Bakış​

Brave arama sonuçları veri kazıyıcı, gizlilik odaklı ve hızla büyüyen bu arama motorundan veri toplamanıza olanak tanır. Bu sayede, daha sonraki kullanımlar için hazır bağlantı listeleri elde edebilirsiniz. Arama operatörleri de dahil olmak üzere, sorguları Brave'de girdiğiniz şekilde kullanabilirsiniz.

A-Parser'ın çoklu iş parçacığı (multithreading) özelliği sayesinde, sorgu işleme hızı oldukça yüksek olabilir ve bu da büyük miktardaki verinin kısa sürede işlenmesini sağlar.

A-Parser işlevselliği, veri çekme ayarlarını daha sonra kullanmak üzere kaydetmenize (presetler), veri çekme zamanlaması belirlemenize ve çok daha fazlasına imkan tanır. Mümkün olan en fazla sonucu elde etmek için sorgu çoğaltma, dosyalardan alt sorgu ekleme, sayısal-alfabetik kombinasyonlar ve listeler arasında geçiş yapma özelliklerini kullanabilirsiniz.

Sonuçların kaydedilmesi, sonuçlara ek mantık uygulamanıza ve verileri JSON, SQL ve CSV dahil olmak üzere çeşitli formatlarda dışa aktarmanıza olanak tanıyan güçlü yerleşik şablon motoru Template Toolkit sayesinde ihtiyacınız olan biçim ve yapıda mümkündür.

Toplanan Veriler​

  • Arama sonuçlarından bağlantılar, çıpalar (anchor) ve snippet'ler, ayrıca snippet'teki tarih (varsa)
  • İlgili anahtar kelimelerin listesi (Related keywords)

Özellikler​

  • Tüm Brave arama operatörleri desteği (site:, inurl: vb.)
  • Sayfa sayısı belirtme (1'den 10'a kadar), Brave bir sayfada ortalama 10 sonuç verir
  • Alınan sayfanın arama bölgesi ve arayüz dili seçimi
  • Kesin yerel sonuçlar alma imkanı; IP üzerinden konum belirleme veya manuel konum belirtme desteklenir
  • Arama türü seçebilme; ana organik sonuçların yanı sıra Brave veri kazıyıcı haber veya video sonuçlarını da toplayabilir
  • Arama zamanı belirtme desteği (tüm zamanlar veya 24 saatten bir yıla kadar belirli bir aralık)
  • Oturum (session) desteği

Kullanım Durumları​

  • Bağlantı listesi toplama - XRumer, AllSubmitter, GSA Ranker vb. için.
  • Bağlantıları, çıpaları ve snippet'leri içeren SERP dökümü, SEO uzmanları ve pazarlamacılar için derinlemesine analiz yapma imkanı sunar.
  • Backlink ve site bahsetmelerini arama
  • Sınırsız sayıda sorgu ile arama sonuçlarının alınmasını gerektiren diğer tüm durumlar

Sorgular​

Sorgu olarak, doğrudan Brave arama formuna giriyormuşsunuz gibi arama ifadeleri belirtilmelidir, örneğin:

araba satın al
İstanbul'da pencereler
site:https://lenta.ru
inurl:guestbook

Sorgu Değişkenleri​

Sorguları çoğaltmak için yerleşik makroları kullanabilirsiniz. Örneğin, çok büyük bir forum veritabanı elde etmek istiyoruz, bunun için farklı dillerde birkaç ana sorgu belirtelim:

forum
forum
foro
论坛

Sorgu formatında a'dan zzzz'ye kadar karakter kombinasyonlarını belirtelim; bu yöntem arama sonuçlarını maksimum düzeyde döndürmenize ve birçok yeni benzersiz sonuç elde etmenize olanak tanır:

$query {az:a:zzzz}

Bu makro, her bir ana arama sorgusu için 475254 ek sorgu oluşturacaktır; bu da toplamda 4 x 475254 = 1901016 arama sorgusu demektir. Rakam etkileyici olsa da A-Parser için bu hiç sorun değildir. Dakikada 2000 sorgu hızıyla, böyle bir görev sadece 16 saatte tamamlanacaktır.

Operatör Kullanımı​

Sorgu formatında arama operatörlerini kullanabilirsiniz, böylece listenizdeki her sorguya otomatik olarak eklenecektir, örneğin:

inurl:$query

Sonuç Çıktı Seçenekleri​

A-Parser, yerleşik Template Toolkit şablon motoru sayesinde sonuçların esnek bir şekilde formatlanmasını destekler; bu da sonuçları rastgele bir formda veya CSV ya da JSON gibi yapılandırılmış bir biçimde almanıza olanak tanır.

Bağlantı Listesi Dışa Aktarma​

Sonuç formatı:

$serp.format('$link\n')

Sonuç örneği:

https://www.mobile.de/ru
https://auto.drom.ru/
https://autospot.ru/brands/
https://www.destacar.de/
https://www.autoscout24.de/auto/gebrauchtwagen/bayern/falkenstein/
https://www-autoservice-falkenstein.skoda-auto.de/?e=7
https://auto.ru/
https://www.autohaus-schueler.de/
https://www.avtogermes.ru/sale/
https://falkenstein.seat.de/
...

Sonuç formatı:

[% FOREACH item IN serp;
    loop.count _ ' - ' _ item.link _ ' - ' _ item.anchor _ ' - ' _ item.snippet _ "\n";
END %]

Sonuç örneği:

1 - https://www.mobile.de/ru - mobile.de: ikinci el arabalar — ilanlar ... - mobile.de/ru, Almanya'nın en büyük otomobil pazarının bir parçasıdır. mobile.de araba satın almayı kolaylaştırır. Basit bir arama ve birkaç tıklama ile piyasaya tam bir genel bakış elde edersiniz.
2 - https://auto.drom.ru/ - Rusya'da araba satışı. İndirimli... - 775.361 araba satış ilanı. 10.000 rubleden başlayan yeni ve kullanılmış araç satışı. Araba galerileri ve özel ilanlar.
3 - https://www.destacar.de/ - Almanya'dan sipariş üzerine arabalar | ... - Destacar şirketi, Almanya'da araba arama, seçme, inceleme ve satın alma konularında size her zaman yardımcı olmaya hazırdır. Almanya'da ikinci el araba satın almanıza yardımcı olacağız, aracınızın durumundan tamamen emin olmanız için inceleme ve test sürüşü yapacağız.
4 - https://autospot.ru/brands/ - Moskova'da araba satın al: fiyatlar ... - ✸ Moskova'da parametrelere göre araba seçimi: Autospot otomobil kataloğundaki fiyatlar. ✸ Fiyatlar ve teknik özelliklerle birlikte otomobil kataloğu - yetkili satıcılardan satış.
5 - https://www.autoscout24.de/auto/gebrauchtwagen/bayern/falkenstein/ - Gebrauchtwagen Falkenstein: Auto günstig kaufen - Gebrauchtwagen & Jahreswagen in Falkenstein kaufen und verkaufen bei AutoScout24.de - Europas großem Automarkt » Jetzt finden oder inserieren!
6 - https://www-autoservice-falkenstein.skoda-auto.de/?e=7 - ŠKODA Gebrauchtwagen in Falkenstein | Auto-Service Falkenstein GmbH - ŠKODA Gebrauchtwagen in Falkenstein | Auto-Service Falkenstein GmbH ✔ Günstig finanzieren ✔ Beste ŠKODA Vorführwagen und Jahreswagen ✔ ŠKODA gebraucht kaufen ✔ Probefahrt vereinbaren
7 - https://auto.ru/ - Auto.ru: satın al, sat ve takas et ... - Bu site Rusya Federasyonu mevzuatına uygun olarak çalışmaktadır ve bölgenizde çalışmak üzere tasarlanmamıştır. Siteyi kullanmaya devam ederek, ...
8 - https://www.autohaus-schueler.de/ - Ihr Audi und VW Autohaus Schüler in Falkenstein - Ihr Autohaus Schüler in Falkenstein, Oelsnitz, Plauen & Wilkau-Hasslau - Wir bieten ein großes Angebot an Neu- und Gebrauchtwagen, Audi & VW Service.
...

Yerleşik $tools.CSVLine aracı, Excel veya Google Tablolar'a aktarılmaya hazır, doğru tablo belgeleri oluşturmanıza olanak tanır.

Genel sonuç formatı:

[%  FOREACH item IN p1.serp;
    tools.CSVline(item.link, item.anchor, item.snippet);
END  %]

Dosya adı:

$datefile.format().csv

Başlangıç metni:

Bağlantı,Çıpa,Snippet

Sonuç örneği:

Bağlantı,Çıpa,Snippet
https://www.mobile.de/ru,"mobile.de: ikinci el arabalar — ilanlar...","mobile.de/ru, Almanya'nın en büyük otomobil pazarının bir parçasıdır. mobile.de araba satın almayı kolaylaştırır. Basit bir arama ve birkaç tıklama ile piyasaya tam bir genel bakış elde edersiniz."
https://auto.drom.ru/,"Rusya'da araba satışı. İndirimli...","775.361 araba satış ilanı. 10.000 rubleden başlayan yeni ve kullanılmış araç satışı. Araba galerileri ve özel ilanlar."
https://www.destacar.de/,"Almanya'dan sipariş üzerine arabalar | ...","Destacar şirketi, Almanya'da araba arama, seçme, inceleme ve satın alma konularında size her zaman yardımcı olmaya hazırdır. Almanya'da ikinci el araba satın almanıza yardımcı olacağız, aracınızın durumundan tamamen emin olmanız için inceleme ve test sürüşü yapacağız."
https://autospot.ru/brands/,"Moskova'da araba satın al: fiyatlar ...","✸ Moskova'da parametrelere göre araba seçimi: Autospot otomobil kataloğundaki fiyatlar. ✸ Fiyatlar ve teknik özelliklerle birlikte otomobil kataloğu - yetkili satıcılardan satış."
https://www.autoscout24.de/auto/gebrauchtwagen/bayern/falkenstein/,"Gebrauchtwagen Falkenstein: Auto günstig kaufen","Gebrauchtwagen & Jahreswagen in Falkenstein kaufen und verkaufen bei AutoScout24.de - Europas großem Automarkt » Jetzt finden oder inserieren!"
https://www-autoservice-falkenstein.skoda-auto.de/?e=7,"ŠKODA Gebrauchtwagen in Falkenstein | Auto-Service Falkenstein GmbH","ŠKODA Gebrauchtwagen in Falkenstein | Auto-Service Falkenstein GmbH ✔ Günstig finanzieren ✔ Beste ŠKODA Vorführwagen und Jahreswagen ✔ ŠKODA gebraucht kaufen ✔ Probefahrt vereinbaren"
https://auto.ru/,"Auto.ru: satın al, sat ve takas et ...","Bu site Rusya Federasyonu mevzuatına uygun olarak çalışmaktadır ve bölgenizde çalışmak üzere tasarlanmamıştır. Siteyi kullanmaya devam ederek, ..."
https://www.autohaus-schueler.de/,"Ihr Audi und VW Autohaus Schüler in Falkenstein","Ihr Autohaus Schüler in Falkenstein, Oelsnitz, Plauen & Wilkau-Hasslau - Wir bieten ein großes Angebot an Neu- und Gebrauchtwagen, Audi & VW Service."
...
ipucu

Genel sonuç formatında, $serp dizisini bir FOREACH döngüsü içinde yazdırmak için Template Toolkit şablon motoru kullanılır.

Sonuç dosya adında dosya uzantısını csv olarak değiştirmeniz yeterlidir.

Görev Düzenleyici'de "Prepend text" seçeneğinin görünmesi için "More options" kısmını etkinleştirmeniz gerekir. "Prepend text" alanına sütun adlarını virgülle ayırarak yazıyoruz ve ikinci satırı boş bırakıyoruz.

Sonuç formatı:

$related.format('$key\n')

Sonuç örneği:

test speed
ookla speed test
speed test wifi
internet speed test
run speed test
fast speed test
mbps test
test 2
test match
google speed test
...

SQL Formatında Kaydetme​

Sonuç formatı:

[%  FOREACH serp;
    "INSERT INTO serp VALUES('" _ query _ "', '";
    link _ "', '";
    anchor _ "')\n";
END  %]

Sonuç örneği:

    
INSERT INTO serp VALUES('test', 'https://www.speedtest.net/', 'Speedtest by Ookla - The Global Broadband Speed Test')
INSERT INTO serp VALUES('test', 'https://www.merriam-webster.com/dictionary/test', 'TEST Definition & Meaning - Merriam-Webster')
INSERT INTO serp VALUES('test', 'https://englishtest.duolingo.com/', 'Duolingo English Test')
INSERT INTO serp VALUES('test', 'https://link.springer.com/journal/11749', 'Home | TEST | Springer Nature Link')
INSERT INTO serp VALUES('test', 'https://test.io/', 'Home | Test IO')
INSERT INTO serp VALUES('test', 'https://www.spectrum.com/internet/speed-test', 'Spectrum Internet Speed Test: Broadband Internet Speed Check')
INSERT INTO serp VALUES('test', 'https://fast.com/', 'Internet Speed Test | Fast.com')
INSERT INTO serp VALUES('test', 'https://en.wikipedia.org/wiki/Test', 'Test - Wikipedia')
...

Sonuçların JSON Olarak Dökümü​

Genel sonuç formatı:

[% IF notFirst;
  ",\n";
ELSE;
  notFirst = 1;
END;

obj = {};
obj.results = [];

FOREACH item IN p1.serp;
    obj.results.push({
        link = item.link
        anchor = item.anchor
        snippet = item.snippet
    });
END;

obj.json %]

Başlangıç metni:

[

Bitiş metni:

]

Sonuç örneği:

{"results":[{"link":"https://www.speedtest.net/","snippet":"Use Speed<strong>test</strong> on all your devices with our free desktop and mobile apps.","anchor":"Speedtest by Ookla - The Global Broadband Speed Test"},{"link":"https://www.merriam-webster.com/dictionary/test","snippet":"The meaning of TEST is <strong>a means of testing</strong>. How to use test in a sentence.","anchor":"TEST Definition & Meaning - Merriam-Webster"},{"link":"https://englishtest.duolingo.com/","snippet":"The Duolingo English Test is a fast, affordable online English exam accepted by institutions worldwide. Take it anytime and get results in 2 days","anchor":"Duolingo English Test"},{"link":"https://link.springer.com/journal/11749","snippet":"Journal TEST <strong>focuses on cutting-edge research in all areas of Statistics and Probability with significant theoretical, methodological, and applied impact</strong>. ...","anchor":"Home | TEST | Springer Nature Link"},{"link":"https://test.io/","snippet":"Test IO delivers a full range of web, mobile, and IoT <strong>test</strong>ing, delivered as a service.","anchor":"Home | Test IO"},{"link":"https://www.spectrum.com/internet/speed-test","snippet":"Test your broadband Internet and WiFi speed with the Internet Speed Test. Check your upload and download speeds for your home Internet network.","anchor":"Spectrum Internet Speed Test: Broadband Internet Speed Check"},{"link":"https://fast.com/","snippet":"FAST.com will <strong>test</strong> Internet speed globally on any device (phone, laptop, or smart TV with browser).","anchor":"Internet Speed Test | Fast.com"},{"link":"https://en.wikipedia.org/wiki/Test","snippet":"Look up test, testing, Test, or TEST in Wiktionary, the free dictionary. ... Test (assessment), <strong>an educational assessment intended to measure the respondents&#x27; knowledge or other abilities</strong> ... Test., abbreviation for Testament, referring to the Old Testament and New Testament of the Christian Bible.","anchor":"Test - Wikipedia"},{"link":"https://speed.cloudflare.com/","snippet":"Test your Internet connection. Check your network performance with our Internet speed <strong>test</strong>. Powered by Cloudflare&#x27;s global edge network.","anchor":"Internet Speed Test - Measure Network Performance | Cloudflare"},{"link":"https://testmy.net/","snippet":"TestMy.net is a powerful broadband speed <strong>test</strong> that will <strong>test</strong> your Internet, calculate your transfer rate and output accurate, reliable and easy to understand results. TestMy.net is an independent third party and is not affiliated with your Internet service provider.","anchor":"Internet Speed Test"},{"link":"https://www.livechat.com/typing-speed-test/","snippet":"The faster you type, the faster you communicate with others. With our free typing speed <strong>test</strong>, you can check your WPM and CPM typing scores in a flash!","anchor":"Free Typing Test - Check Your Typing Speed in 60 Seconds | LiveChat ..."},{"link":"https://fiber.google.com/speedtest/","snippet":"Test your current internet speed, and find out how fast your broadband wi-fi handles uploads and downloads. See Google Fiber plan options for faster internet.","anchor":"Internet Speed Test | Check Broadband Speed | Google Fiber"},{"link":"https://zoom.us/test","snippet":"Preview your next Zoom Meeting using out <strong>test</strong> meeting tool to check your settings and display.","anchor":"Join a Test Meeting | Zoom"},{"link":"https://implicit.harvard.edu/implicit/takeatest.html","snippet":"On the next page, you&#x27;ll be asked to select an Implicit Association Test (IAT) from a list of possible topics. We&#x27;ll also ask you (optionally) to report your attitudes or beliefs about these topics and give you some information about yourself. We ask these questions because the IAT can be more valuable if you also describe your own self-understanding of the attitude or stereotype that the IAT measures.","anchor":"Take a Test"},{"link":"https://www.act.org/content/act/en/products-and-services/the-act.html","snippet":"The ACT <strong>test</strong> is a curriculum-based education and career planning tool for high school students that assesses the mastery of college readiness standards","anchor":"The ACT Test for Students | ACT"},{"link":"https://play.google.com/store/apps/details?id=org.zwanoo.android.speedtest&hl=en_US","snippet":"Test your download and upload speeds as well as three measures of latency to check a slow connection or use the app to make sure your network is ready for a gaming session. Use real-world data to find out where mobile network coverage is strong and weak for providers in your area with the Speed<strong>test</strong> Maps tab.","anchor":"Speedtest by Ookla - Apps on Google Play"},{"link":"https://speedtest.xfinity.com/","snippet":"Xfinity Speed Test – You need to enable JavaScript to run this app","anchor":"Xfinity Speed Test - Check Your Internet Speed"},{"link":"https://www.ada.org/education/testing/exams/dental-admission-test-dat","snippet":"Find out how to apply for, prepare for, take, and receive scores for the Dental Admission Test (DAT).","anchor":"Dental Admission Test (DAT) | American Dental Association"},{"link":"https://www.16personalities.com/free-personality-test","snippet":"Take our free personality <strong>test</strong> and discover your personality type in 10 minutes. Get a ‘freakishly accurate’ description of who you are and why you do things the way you do.","anchor":"Free personality test | 16Personalities"},{"link":"https://www.faa.gov/uas/recreational_flyers/knowledge_test_updates","snippet":"The law requires that all recreational flyers pass an aeronautical knowledge and safety <strong>test</strong> and provide proof of passage if asked by law enforcement or FAA personnel. The Recreational UAS Safety Test (TRUST) was developed to meet this requirement. TRUST provides education and <strong>test</strong>ing on important safety and regulatory information.","anchor":"The Recreational UAS Safety Test (TRUST) | Federal Aviation ..."}]}
ipucu

Görev Düzenleyici'de "Prepend text" ve "Append text" seçeneklerinin görünmesi için "More options" kısmını etkinleştirmeniz gerekir.

Olası Ayarlar​

not

Tüm veri kazıyıcılar için ortak ayarlar

Parametre adıVarsayılan değerAçıklama
Serp typeAllGenel sonuçların (All), haberlerin (News) veya videoların (Videos) taranacağını belirler
Pages count5Taranacak sayfa sayısı (1'den 10'a kadar)
RegionAll regionsAramanın yapılacağı ülke seçimi
Display languageEnglish (United States)Veri kazıyıcıdaki ve tarayıcıdaki sonuçların maksimum benzerliği için sonuç sayfasının arayüz dilini seçme imkanı
Safe searchModerate"Safe search"yı etkinleştirme imkanı
Search timeAnySERP zamanı (zamana bağlı arama)
Local resultsOn (auto, from IP)Yerel arama, olası değerler: Off - kapalı, Auto - konum sorgu IP'sine göre belirlenir, Manual - Manual location alanında belirtilen konum kullanılır
Manual locationKesin konum girişi için alan, sadece Local results = Manual olduğunda kullanılır. Konum, enlem,boylam formatında virgülle ayrılmış bir koordinat çifti olarak belirtilmelidir, örneğin: 55.780844,37.6572693