SE::Dogpile - Dogpile arama sonuçları Veri Kazıyıcı
Veri kazıyıcı incelemesi
Dogpile arama sonuçları veri kazıyıcı. SE::Dogpile veri kazıyıcı sayesinde, daha sonraki kullanımlar için hazır büyük bağlantı veritabanları elde edebilirsiniz. Sorguları, Dogpile arama çubuğuna girdiğiniz şekilde, arama operatörleri (url, language, site vb.) dahil olmak üzere kullanabilirsiniz.
A-Parser işlevselliği, Dogpile veri kazıyıcı ayarlarını daha sonra kullanmak üzere kaydetmenize (presetler), veri çekme zamanlaması belirlemenize ve çok daha fazlasına olanak tanır. Mümkün olan maksimum sonuç sayısını elde etmek için otomatik sorgu çoğaltma, dosyalardan alt sorgu ekleme, sayısal-harf kombinasyonlarını ve listeleri tarama özelliklerini kullanabilirsiniz.
Sonuçların kaydedilmesi, sonuçlara ek mantık uygulamanıza ve verileri JSON, SQL ve CSV dahil olmak üzere çeşitli formatlarda çıktı almanıza olanak tanıyan yerleşik güçlü şablon motoru Template Toolkit sayesinde ihtiyacınız olan biçimde ve yapıda mümkündür.
Toplanan veriler
- Arama sonuçlarından bağlantılar, çapalar (anchor) ve snippet'ler
- İlgili anahtar kelimelerin listesi (Related keywords)
Özellikler
- Dogpile tarafından sunulan maksimum sonuç sayısını kazır - arama sonuçlarında 10 öğelik 50 sayfa
- Toplam sonuç sayısı - 500
- İlgili anahtar kelimeleri arama imkanı
Kullanım durumları
- Bağlantı veritabanlarının toplanması - A-Poster, XRumer, AllSubmitter vb. için.
- Anahtar kelimeler için rekabet değerlendirmesi
- Sitelerin backlinklerini (bahsedilmelerini) arama
- Sitelerin indekslenme durumunu kontrol etme
- Savunmasız siteleri arama
- Dogpile veri çekme işlemini şu veya bu şekilde içeren diğer tüm seçenekler
Sorgular
Sorgu olarak, doğrudan Dogpile arama formuna giriliyormuş gibi arama ifadeleri belirtilmelidir, örneğin:
test
parser language: ru
site: a-parser.com
site: slideshare.net Java Developer gmail.com resume -sample -samples -example -templates
Sorgu değişimleri
Sorguları çoğaltmak için yerleşik makroları kullanabilirsiniz, örneğin çok büyük bir forum veritabanı elde etmek istiyoruz, farklı dillerde birkaç ana sorgu belirtelim:
forum
forum
foro
论坛
Sorgu formatında a'dan zzzz'ye kadar karakter taramasını belirtelim, bu yöntem arama sonuçlarını maksimum düzeyde döndürmeye ve birçok yeni benzersiz sonuç elde etmeye olanak tanır:
$query {az:a:zzzz}
Bu makro, her bir kaynak arama sorgusu için 475254 ek sorgu oluşturacaktır, bu da toplamda 4 x 475254 = 1901016 arama sorgusu eder; rakam etkileyici olsa da A-Parser için bu hiç sorun değildir. Dakikada 2000 sorgu hızıyla bu görev sadece 16 saatte tamamlanacaktır.
Operatörlerin kullanımı
Sorgu formatında arama operatörlerini kullanabilirsiniz, böylece listenizdeki her sorguya otomatik olarak eklenecektir:
site:$query
Sonuç çıktı seçenekleri
A-Parser, yerleşik şablon motoru Template Toolkit sayesinde sonuçların esnek bir şekilde formatlanmasını destekler; bu da sonuçları serbest formda ve CSV veya JSON gibi yapılandırılmış formatlarda sunmasına olanak tanır.
Bağlantı listesi dışa aktarma
Pozisyon çıktısı ile bağlantılar + çapalar + snippet'ler
Bağlantıların, çapaların ve snippet'lerin CSV tablosuna aktarılması
İlgili anahtar kelimelerin kaydedilmesi
Bağlantıların indekslenme kontrolü
SQL formatında kaydetme
Sonuçların JSON formatında dökümü
Sonuçların işlenmesi
A-Parser, sonuçları doğrudan veri çekme sırasında işlemenize olanak tanır, bu bölümde Dogpile veri kazıyıcı için en popüler senaryoları sunduk.
Bağlantı deduplikasyonu
Alan adına göre bağlantı deduplikasyonu
Alan adlarını ayıklama
Çapalardan ve snippet'lerden etiketleri kaldırma
İçermeye göre bağlantı filtreleme
Olası ayarlar
| Parametre adı | Varsayılan değer | Açıklama |
|---|---|---|
| Pages count | 10 | Kazınacak sayfa sayısı (1'den 50'ye kadar) |
| Bypass CloudFlare with Chrome | ☑ | CloudFlare kontrolünü otomatik atlama |
| Bypass CloudFlare with Chrome Max Pages | 10 | Chrome üzerinden CF atlanırken maks. sayfa sayısı |
| Bypass CloudFlare with Chrome Headless | ☑ | Seçenek etkinse, Chrome üzerinden CF atlanırken tarayıcı görüntülenmez |