SE::Startpage - startpage.com arama sonuçları veri kazıyıcı
Veri kazıyıcı incelemesi
Startpage arama sonuçları veri kazıyıcısı. Startpage veri kazıyıcı sayesinde, daha sonraki kullanımlar için hazır büyük bağlantı veritabanları elde edebilirsiniz. Sorguları, arama operatörleri (site, inurl vb.) dahil olmak üzere Startpage arama çubuğuna girdiğiniz şekilde kullanabilirsiniz.
A-Parser işlevselliği, Startpage veri kazıyıcı ayarlarını daha sonra kullanmak üzere kaydetmenize (presetler), veri çekme zamanlaması ayarlamanıza ve çok daha fazlasına olanak tanır. Mümkün olan maksimum sonuç sayısını elde etmek için otomatik sorgu çoğaltma, dosyalardan alt sorgu yerleştirme, sayısal-harf kombinasyonlarını ve listeleri tarama özelliklerini kullanabilirsiniz.
Sonuçların kaydedilmesi, sonuçlara ek mantık uygulamanıza ve verileri JSON, SQL ve CSV dahil olmak üzere çeşitli formatlarda çıktı almanıza olanak tanıyan yerleşik güçlü şablon motoru Template Toolkit sayesinde ihtiyacınız olan biçim ve yapıda mümkündür.
Toplanan veriler
- Arama sonuçlarından bağlantılar, çapalar (anchor) ve snippet'ler
Özellikler
- Ülke seçimi, arama dili ve sayfa dili seçimini destekler
- Çapaları, bağlantıları ve snippet'leri birlikte veya ayrı ayrı çıktı alma imkanı
- Görüntülenecek sonuç sayısını belirleme imkanı
- Arama sonuç boyutu belirtme (10 veya 20 sonuç)
Kullanım senaryoları
- Bağlantı, çapa ve snippet veritabanlarının toplanması
- Arama motorlarında en sık adı geçen sitelerin listesini alma
- Bilgi edinmek için diğer tüm kullanım senaryoları
Sorgular
Sorgu olarak kelimeler, ifadeler ve kelime grupları, arama motoruna yazıldıkları şekilde belirtilir. Örnek:
test
site:http://test.ru
kırmızı güller
Sorgu değişimleri
Sorguları çoğaltmak için yerleşik makroları kullanabilirsiniz, örneğin çok büyük bir forum veritabanı elde etmek istiyoruz, farklı dillerde birkaç ana sorgu belirtelim:
forum
forum
foro
论坛
Sorgu formatında a'dan zzzz'ye kadar karakter taramasını belirtelim; bu yöntem arama sonuçlarını maksimum düzeyde döndürmeye ve birçok yeni benzersiz sonuç elde etmeye olanak tanır:
$query {az:a:zzzz}
Bu makro, her bir orijinal arama sorgusu için 475254 ek sorgu oluşturacaktır, bu da toplamda 4 x 475254 = 1901016 arama sorgusu eder; rakam etkileyici olsa da A-Parser için bu hiç sorun değildir. Dakikada 2000 sorgu hızıyla böyle bir görev sadece 16 saatte tamamlanacaktır.
Operatörlerin kullanımı
Sorgu formatında arama operatörlerini kullanabilirsiniz, böylece listenizdeki her sorguya otomatik olarak eklenecektir:
site:$query
Sonuç çıktı seçenekleri
A-Parser, yerleşik şablon motoru Template Toolkit sayesinde sonuçların esnek bir şekilde formatlanmasını destekler; bu da sonuçları rastgele bir formda veya CSV ya da JSON gibi yapılandırılmış bir biçimde çıktı almasına olanak tanır.
Bağlantı listesi dışa aktarma
Pozisyon çıktısı ile bağlantılar + çapalar + snippet'ler
Bağlantıları, çapaları ve snippet'leri CSV tablosuna aktarma
SQL formatında kaydetme
Sonuçları JSON formatında dökme
Sonuçların işlenmesi
A-Parser, sonuçları doğrudan veri çekme sırasında işlemenize olanak tanır; bu bölümde Startpage veri kazıyıcı için en popüler durumları sunduk.
Bağlantı deduplikasyonu
Alan adına göre bağlantı deduplikasyonu
Alan adlarını ayıklama
Çapa ve snippet'lerden etiketleri kaldırma
İçeriğe göre bağlantı filtreleme
Olası ayarlar
| Parametre adı | Varsayılan değer | Açıklama |
|---|---|---|
| Pages count | 5 | Veri çekilecek sayfa sayısı (1 ile 50 arası) |
| Family filter | Filter depending on search | Filtreleme seviyesi seçimi (Filter all results / Filter depending on search / Do not filter my results) |
| Period | Any time | Sonuç periyodu seçimi (Any time / Past 24 hours / Past week / Past month / Past year) |
| Links per page | 10 | Sonuç boyutu (10 / 20) |
| Results language | English | Sonuç dili seçimi |
| Page language | English | Sayfa dili seçimi |
| Search country | All | Aramanın yapıldığı ülke seçimi |