SE::Bing - Bing Arama Sonuçları Veri Kazıyıcı
Veri kazıyıcı genel bakış
Bing arama sonuçları veri kazıyıcı. SE::Bing veri kazıyıcı sayesinde, daha sonraki kullanımlar için hazır devasa bağlantı veritabanları elde edebilirsiniz. Sorguları, arama operatörleri (contains, intitle, language, site vb.) dahil olmak üzere Bing arama çubuğuna girdiğiniz şekilde kullanabilirsiniz. Daha fazla ayrıntı resmi Advanced search keywords sayfasında yer almaktadır.
A-Parser işlevselliği, Bing veri kazıyıcı ayarlarını daha sonra kullanmak üzere kaydetmenize (şablonlar), veri çekme takvimi oluşturmanıza ve çok daha fazlasına olanak tanır. Mümkün olan en fazla sayıda sonuç elde etmek için otomatik sorgu çoğaltma, dosyalardan alt sorgu ekleme, alfanümerik kombinasyonlar ve liste tarama yöntemlerini kullanabilirsiniz.
Sonuçların kaydedilmesi, sonuçlara ek mantık uygulamanıza ve verileri JSON, SQL ve CSV dahil olmak üzere çeşitli formatlarda dışa aktarmanıza olanak tanıyan yerleşik güçlü Template Toolkit şablon motoru sayesinde ihtiyacınız olan biçimde ve yapıda mümkündür.
Veri kazıyıcı kullanım örnekleri
🔗 Bing arama sonuçlarının Veri Çekme işlemi
Otomatik sorgu çoğaltma ile Bing Veri Çekme (Tüm sonuçları çek)
🔗 İlk 10 sonuç ve etiket içeriği veri çekme
Çok seviyeli veri çekme. Bu siteler için ilk 10 sonucu ve title ile description etiketlerinin içeriğini çekiyoruz
🔗 Bing veri kazıyıcı tabanlı JS veri kazıyıcı
JS veri kazıyıcılar oluşturma. Standart veri kazıyıcıdan sonuç alma
🔗 Bing'deki tüm sonuçların Veri Çekme işlemi
Template Toolkit şablon motoru ve tools.query.add aracılığıyla akıllı sorgu yerleştirme ile Veri Çekme
🔗 Bing'de Deduplikasyon
Anahtar kelimeye göre benzersiz URL'lerin çekilmesi ve alan adına göre deduplikasyon, tek bir alan adında maksimum URL sayısını belirtme imkanı ile
🔗 Bir hazır ayarda birden fazla veri kazıyıcı
Hazır ayarda birden fazla veri kazıyıcı kullanımına dair bir örnek gösterilmiştir
Toplanan veriler
- Sorgu başına sonuç sayısı
- Arama sonuçlarından bağlantılar, çıpalar (anchor) ve snippet'ler
- İlgili anahtar kelimeler listesi (Related keywords)
- Reklam sonuçlarından bağlantılar, görünen bağlantılar, çıpalar, snippet'ler ve reklam konumu
Özellikler
- Tüm Bing arama operatörleri desteği (site:, ip: vb.). Arama operatörleri hakkında daha fazla ayrıntı resmi Advanced search keywords sayfasında.
- Bing tarafından sunulan maksimum sonuç sayısını çeker - 200 sayfaya kadar sonuç
- Sorgu başına 1000'den fazla sonucu otomatik olarak çekebilir - ek karakterler ekler (Parse all results seçeneği)
- İlgili anahtar kelimeler üzerinden derinlemesine veri çekme imkanı (Parse related to level)
- İlgili anahtar kelimeleri arama imkanı
- Önbelleğe alınmış sayfalara giden bağlantıları çekme imkanı
- Mobil arama sonuçlarını çekme imkanı
- Mobil görünümde kaydırma sırasında veri yükleme desteği
Bing veri kazıyıcı temelinde aşağıdaki veri kazıyıcılar çalışır:
SE::Bing::Position - sorgu listesine göre herhangi bir sitenin arama sonuçlarındaki konumlarını belirleme
Kullanım senaryoları
- Bağlantı veritabanı toplama - A-Poster, XRumer, AllSubmitter vb. için.
- Anahtar kelimeler için rekabet değerlendirmesi
- Sitelerin backlinklerini (bahsedilmelerini) bulma
- Sitelerin indekslenme durumunu kontrol etme
- Savunmasız siteleri bulma
- Aynı IP adresindeki siteleri bulma
- Bing veri çekme işlemini içeren diğer tüm senaryolar
Sorgular
Sorgu olarak, doğrudan Bing arama formuna giriliyormuş gibi arama ifadeleri belirtilmelidir, örneğin:
test
pencere İstanbul
site:http://lenta.ru
ip:222.36.12.12
Sorgu değişimleri
Sorguları çoğaltmak için yerleşik makroları kullanabilirsiniz; örneğin, çok büyük bir forum veritabanı elde etmek istiyorsak, farklı dillerde birkaç ana sorgu belirtelim:
forum
forum
foro
论坛
Sorgu formatında a'dan zzzz'ye kadar karakter değişimini belirtelim; bu yöntem arama sonuçlarını maksimum düzeyde döndürmeye ve birçok yeni benzersiz sonuç elde etmeye olanak tanır:
$query {az:a:zzzz}
Bu makro, her bir kaynak arama sorgusu için 475254 ek sorgu oluşturacaktır; bu da toplamda 4 x 475254 = 1901016 arama sorgusu eder. Bu rakam etkileyici olsa da A-Parser için hiç sorun değildir. Dakikada 2000 sorgu hızıyla bu görev sadece 16 saatte tamamlanacaktır.
Operatör kullanımı
Sorgu formatında arama operatörlerini kullanabilirsiniz, böylece listenizdeki her sorguya otomatik olarak eklenecektir:
site:$query
Sonuç çıktı seçenekleri
A-Parser, yerleşik Template Toolkit şablon motoru sayesinde sonuçların esnek bir şekilde formatlanmasını destekler; bu da sonuçları serbest formda veya CSV ya da JSON gibi yapılandırılmış formatlarda çıktı almanıza olanak tanır.
Bağlantı listesi dışa aktarma
Bağlantılar + çıpalar + konum çıktılı snippet'ler
Bağlantıların, çıpaların ve snippet'lerin CSV tablosuna aktarılması
İlgili anahtar kelimelerin kaydedilmesi
Anahtar kelime rekabeti
Bağlantı indeksleme kontrolü
SQL formatında kaydetme
Sonuçların JSON formatında dökümü
Sonuçların işlenmesi
A-Parser, sonuçları doğrudan veri çekme sırasında işlemenize olanak tanır; bu bölümde Bing veri kazıyıcı için en popüler senaryoları sunduk
Bağlantı deduplikasyonu
Alan adına göre bağlantı deduplikasyonu
Alan adlarını ayıklama
Çıpalardan ve snippet'lerden etiketlerin kaldırılması
İçeriğe göre bağlantı filtreleme
Olası ayarlar
| Parametre adı | Varsayılan değer | Açıklama |
|---|---|---|
| Pages count | 10 | Veri çekme için sayfa sayısı (1 ile 200 arası) |
| Region | Based on IP | Bölge seçimi. Bölge listesi. |
| Interface language | Any | Arayüz dili seçimi. Dil listesi. |
| Safe Search | Moderate | Güvenli arama seçeneği (Strict / Moderate / Off) |
| Device | Desktop | Arama cihazı seçimi (Desktop / Mobile) |
| Show inaccessible results | ☐ | Gizli sonuçların gösterilmesini sağlar |
| Stop pagination by results count | 0 | Belirli bir sonuç sayısına ulaşıldığında sayfalamayı durdurur. Pages count ayarına ek olarak çalışır; hangisine daha önce ulaşılırsa (sayfa sayısı veya sonuç sayısı) veri çekme durur. |
| Handle captcha max pages | 10 | Kaptan geçmek için gerekli çerezlerin oluşturulduğu maksimum eşzamanlı açık sayfa sayısı. Kaptan geçme aşamasındaki paralelliği sınırlar. |