SE::AOL - search.aol.com Arama Sonuçları Veri Kazıyıcı
AOL Veri Kazıyıcı İncelemesi
AOL veri kazıyıcı, AOL arama sonuçlarını kazımak için tasarlanmış bir araçtır. AOL veri kazıyıcı sayesinde, ileride kullanmak üzere hazır devasa bağlantı veritabanları elde edebilirsiniz. Sorguları, arama operatörleri (contains, intitle, language, site vb.) dahil olmak üzere AOL arama çubuğuna girdiğiniz şekilde kullanabilirsiniz. Daha fazla ayrıntı resmi AOL Search FAQs sayfasında yer almaktadır.
A-Parser işlevselliği, AOL veri kazıyıcı ayarlarını daha sonra kullanmak üzere kaydetmenize (presetler), veri çekme zamanlaması ayarlamanıza ve çok daha fazlasına olanak tanır. Mümkün olan maksimum sonuç sayısını elde etmek için otomatik sorgu çoğaltma, dosyalardan alt sorgu ekleme, alfanümerik kombinasyon ve liste tarama özelliklerini kullanabilirsiniz.
Sonuçların kaydedilmesi, sonuçlara ek mantık uygulamanıza ve verileri JSON, SQL ve CSV dahil olmak üzere çeşitli formatlarda çıktı almanıza olanak tanıyan yerleşik güçlü şablon motoru Template Toolkit sayesinde ihtiyacınız olan biçim ve yapıda mümkündür.
Toplanan Veriler
- Sorgu başına sonuç sayısı
- Arama sonuçlarından bağlantılar, çapalar (anchor) ve snippet'ler
Özellikler
AOL arama motoru veri kazıyıcı şu özelliklere ve ayarlara sahiptir:
- Tüm AOL arama operatörlerini destekler (site:, prefer:, url:, feed: vb.). Daha fazla ayrıntı resmi AOL Search FAQs sayfasında
- AOL tarafından sunulan maksimum sonuç sayısını çeker - her sayfanın çıktısında 20 öğe olmak üzere 100 sayfa
- Arama sonuçları dönemlerini destekler (Anytime, Day, Week, Month)
Kullanım Durumları
- Bağlantı veritabanı toplama - A-Poster, XRumer, AllSubmitter vb. için.
- Anahtar kelimeler için rekabet değerlendirmesi
- Google ABD sonuçlarını kazıma
- Web sitelerinin backlinklerini (bahsedilmelerini) bulma
- Web sitelerinin indekslenme durumunu kontrol etme
- Savunmasız web sitelerini arama
- AOL veri çekme işlemini içeren diğer tüm kullanım durumları
Sorgular
Sorgu olarak, doğrudan AOL arama formuna giriliyormuş gibi arama ifadeleri belirtilmelidir, örneğin:
test
buy house
site:www.realtor.com
feed:football
a-parser loc:ca
Sorgu Değişimleri
Sorguları çoğaltmak için yerleşik makroları kullanabilirsiniz, örneğin çok büyük bir forum veritabanı elde etmek istiyoruz, farklı dillerde birkaç ana sorgu belirtelim:
forum
forum
foro
论坛
Sorgu formatında a'dan zzzz'ye kadar karakter taramasını belirtelim; bu yöntem arama sonuçlarını maksimum düzeyde döndürmeye ve birçok yeni benzersiz sonuç elde etmeye olanak tanır:
$query {az:a:zzzz}
Bu makro, her bir kaynak arama sorgusu için 475254 ek sorgu oluşturacaktır, bu da toplamda 4 x 475254 = 1901016 arama sorgusu demektir; rakam etkileyici olsa da A-Parser için hiç sorun değildir. Dakikada 2000 sorgu hızıyla bu görev sadece 16 saatte tamamlanacaktır.
Operatörlerin Kullanımı
Sorgu formatında arama operatörlerini kullanabilirsiniz, böylece listenizdeki her sorguya otomatik olarak eklenecektir:
site:$query
Sonuç Çıktı Seçenekleri
A-Parser, yerleşik şablon motoru Template Toolkit sayesinde sonuçların esnek bir şekilde biçimlendirilmesini destekler; bu da sonuçları serbest formda veya CSV ya da JSON gibi yapılandırılmış formatlarda çıktı almanıza olanak tanır.
Bağlantı listesi dışa aktarma
Bağlantılar + çapalar + konum çıktılı snippet'ler
Bağlantıları, çapaları ve snippet'leri CSV tablosuna aktarma
İlgili anahtar kelimeleri kaydetme
Anahtar kelime rekabeti
Bağlantı indeksleme kontrolü
SQL formatında kaydetme
Sonuçları JSON'a aktarma
Sonuçların İşlenmesi
A-Parser, sonuçları doğrudan veri çekme sırasında işlemenize olanak tanır; bu bölümde AOL veri kazıyıcı için en popüler durumları sunduk.
Bağlantı deduplikasyonu
Alan adına göre bağlantı deduplikasyonu
Alan adlarını ayıklama
Çapa ve snippet'lerden etiketleri kaldırma
İçermeye göre bağlantı filtreleme
Olası Ayarlar
| Parametre adı | Varsayılan değer | Açıklama |
|---|---|---|
| Pages count | 5 | Kazınacak sayfa sayısı (1'den 100'e kadar) |
| Period | Anytime | Arama sonuçları dönemi (Anytime, Day, Week, Month) |
| AOL domain | search.aol.com | Arama sonuçları ülkesini seçme (search.aol.com, search.aol.co.uk, recherche.aol.fr, suche.aol.de) |