SE::Seznam - Çek arama motoru seznam.cz için Veri Kazıyıcı
Seznam veri kazıyıcı incelemesi
Seznam arama sonuçları veri kazıyıcı. Seznam veri kazıyıcı sayesinde, daha sonraki kullanımlar için hazır büyük bağlantı veritabanları elde edebilirsiniz. Sorguları, arama operatörleri (site, inurl vb.) dahil olmak üzere Dogpile arama çubuğuna girdiğiniz şekilde kullanabilirsiniz.
A-Parser işlevselliği, Seznam veri kazıyıcı ayarlarını daha sonra kullanmak üzere kaydetmenize (ön tanımlı ayarlar), veri çekme planı oluşturmanıza ve çok daha fazlasına olanak tanır. Mümkün olan maksimum sonuç sayısını elde etmek için otomatik sorgu çoğaltma, dosyalardan alt sorgu yerleştirme, sayısal-harf kombinasyonlarını ve listeleri tarama özelliklerini kullanabilirsiniz.
Sonuçların kaydedilmesi, sonuçlara ek mantık uygulamanıza ve verileri JSON, SQL ve CSV dahil olmak üzere çeşitli formatlarda çıktı almanıza olanak tanıyan yerleşik güçlü şablon motoru Template Toolkit sayesinde ihtiyacınız olan biçimde ve yapıda mümkündür.
Toplanan veriler
- Arama sonuçlarından bağlantılar, çapalar (anchor) ve snippet'ler
- İlgili anahtar kelimelerin listesi (Related keywords)
Özellikler
- Seznam tarafından sunulan maksimum sonuç sayısını çeker - arama sonuçlarında 20 öğelik 50 sayfa
- Sorgu başına toplam maksimum sonuç sayısı - 1000
Kullanım senaryoları
- Bağlantı veritabanlarının toplanması - A-Poster, XRumer, AllSubmitter vb. için.
- Sitelerin geri bağlantılarının (backlink/bahsedilmelerin) aranması
- Savunmasız sitelerin aranması
- Seznam veri çekme işlemini şu veya bu şekilde içeren diğer tüm seçenekler
Sorgular
Sorgu olarak, doğrudan Seznam arama formuna giriliyormuş gibi arama ifadeleri belirtilmelidir, örneğin:
test query
pencereler İstanbul
site:a-parser.com
inurl:auto
Sorgu değişimleri
Sorguları çoğaltmak için yerleşik makroları kullanabilirsiniz, örneğin çok büyük bir forum veritabanı elde etmek istiyorsak, farklı dillerde birkaç ana sorgu belirtelim:
forum
forum
foro
论坛
Sorgu formatında a'dan zzzz'ye kadar karakter taramasını belirtelim; bu yöntem arama sonuçlarını maksimum düzeyde döndürmeye ve birçok yeni benzersiz sonuç elde etmeye olanak tanır:
$query {az:a:zzzz}
Bu makro, her bir kaynak arama sorgusu için 475254 ek sorgu oluşturacaktır; bu da toplamda 4 x 475254 = 1901016 arama sorgusu eder. Bu rakam etkileyici olsa da A-Parser için hiç sorun değildir. Dakikada 2000 sorgu hızıyla bu görev sadece 16 saatte tamamlanacaktır.
Operatörlerin kullanımı
Sorgu formatında arama operatörlerini kullanabilirsiniz, böylece listenizdeki her sorguya otomatik olarak eklenecektir:
site:$query
Sonuç çıktı seçenekleri
A-Parser, yerleşik Template Toolkit şablon motoru sayesinde sonuçların esnek bir şekilde biçimlendirilmesini destekler; bu da sonuçları rastgele bir formda veya CSV ya da JSON gibi yapılandırılmış bir biçimde çıktı almanıza olanak tanır.
Bağlantı listesi dışa aktarma
Bağlantılar + çapalar + pozisyon çıktılı snippet'ler
Bağlantıların, çapaların ve snippet'lerin CSV tablosuna aktarılması
SQL formatında kaydetme
Sonuçların JSON formatında dökümü
Sonuçların işlenmesi
A-Parser, sonuçları doğrudan veri çekme sırasında işlemenize olanak tanır; bu bölümde Seznam veri kazıyıcı için en popüler durumları bir araya getirdik.
Bağlantı deduplikasyonu
Alan adına göre bağlantı deduplikasyonu
Alan adlarını ayıklama
Çapalardan ve snippet'lerden etiketleri kaldırma
İçeriğe göre bağlantı filtreleme
Olası ayarlar
| Parametre adı | Varsayılan değer | Açıklama |
|---|---|---|
| Pages count | 5 | Veri çekilecek sayfa sayısı (1'den 50'ye kadar) |
| Links per page | 10 | Bir sayfadaki bağlantı sayısı (10 / 20) |