SE::Rambler - Rambler arama sonuçları veri kazıyıcı
Veri kazıyıcı incelemesi
Rambler arama sonuçları veri kazıyıcı. Rambler veri kazıyıcı sayesinde, daha sonraki kullanımlar için hazır büyük bağlantı veritabanları elde edebilirsiniz. Sorguları, arama operatörleri (site vb.) dahil olmak üzere Rambler arama çubuğuna girdiğiniz şekilde kullanabilirsiniz.
A-Parser işlevselliği, Rambler veri kazıyıcı ayarlarını daha sonra kullanmak üzere kaydetmenize (presetler), veri çekme zamanlaması ayarlamanıza ve çok daha fazlasına olanak tanır. Mümkün olan maksimum sonuç sayısını elde etmek için otomatik sorgu çoğaltma, dosyalardan alt sorgu yerleştirme, sayısal-alfabetik kombinasyon ve liste tarama özelliklerini kullanabilirsiniz.
Sonuçların kaydedilmesi, sonuçlara ek mantık uygulamanıza ve verileri JSON, SQL ve CSV dahil olmak üzere çeşitli formatlarda çıktı almanıza olanak tanıyan yerleşik güçlü şablon oluşturucu Template Toolkit sayesinde ihtiyacınız olan biçim ve yapıda mümkündür.
Toplanan veriler
$totalcount— sonuçlardaki toplam sayı. Yalnızca ilk sayfadan; sayı yoksa boştur$serp.$i.link,$serp.$i.anchor,$serp.$i.snippet— bağlantı, çapa metni, snippet$hints.$i.hint— ilgili anahtar kelimeler. Yalnızca ilk sayfadan; ipucu yoksa boştur
Özellikler
- Rambler arama operatörleri desteği (url:, site:, inurl:, host:, rhost:, domain:)
- 25 sayfaya kadar, en fazla ~250 sonuç
- İlgili anahtar kelimeler (
$hints.$i.hint) - Sonuç görünümü: masaüstü, mobil Android veya mobil iOS
Kullanım durumları
- Bağlantı veritabanları toplama
- Anahtar kelimeler için rekabet değerlendirmesi
- Sitelerin backlinklerini (bahsedilmelerini) arama
- Rambler arama sonuçlarının çekilmesi gereken tüm durumlar
Sorgular
Sorguları Rambler aramasında olduğu gibi belirtin. Diyelim ki sadece bir siteden gelen bağlantılara ihtiyacınız var. Sorgu alanına şunu giriyoruz:
"kapı satın al" site:http://kp.ru
Sorgu değişimleri
Sorguları çoğaltmak için yerleşik makroları kullanabilirsiniz; örneğin çok büyük bir forum veritabanı elde etmek istiyoruz, farklı dillerde birkaç ana sorgu belirtelim:
forum
forum
foro
论坛
Sorgu formatında a'dan zzzz'ye kadar karakter taraması belirtelim; bu yöntem arama sonuçlarını maksimum düzeyde döndürmeye ve birçok yeni benzersiz sonuç elde etmeye olanak tanır:
$query {az:a:zzzz}
Bu makro, her bir kaynak arama sorgusu için 475254 ek sorgu oluşturacaktır, bu da toplamda 4 x 475254 = 1901016 arama sorgusu eder; rakam etkileyici ancak bu A-Parser için hiç sorun değil. Dakikada 2000 sorgu hızıyla böyle bir görev sadece 16 saatte tamamlanacaktır.
Operatörlerin kullanımı
Sorgu formatında arama operatörlerini kullanabilirsiniz, böylece listenizdeki her sorguya otomatik olarak eklenecektir:
site:$query
Sonuç çıktı seçenekleri
A-Parser, yerleşik şablon oluşturucu Template Toolkit sayesinde sonuçların esnek bir şekilde formatlanmasını destekler; bu da sonuçları serbest formda veya CSV ya da JSON gibi yapılandırılmış formatlarda çıktı almasına olanak tanır.
Bağlantı listesi dışa aktarma
Bağlantılar + çıpalar + konum çıktılı snippet'ler
Bağlantıları, çıpaları ve snippet'leri CSV tablosuna aktarma
İlgili anahtar kelimeleri kaydetme
Sonuç formatı:
$hints.format('$hint\n')
Sonuç örneği:
habrahabr
habr
habrahabr ru
xabra
livebusiness
eureka
elektronik muhasebeci
elba adası
elba elektronik muhasebeci
habrahabr
...
SQL formatında kaydetme
Sonuçları JSON formatında dökme
Sonuçların işlenmesi
A-Parser, sonuçları doğrudan veri çekme sırasında işlemenize olanak tanır; bu bölümde Rambler veri kazıyıcı için en popüler senaryoları sunduk
Bağlantı deduplikasyonu
Alan adına göre bağlantı deduplikasyonu
Alan adlarını ayıklama
Çıpalardan ve snippet'lerden etiketleri kaldırma
İçeriğe göre bağlantı filtreleme
Olası ayarlar
| Parametre adı | Varsayılan değer | Açıklama |
|---|---|---|
| Device | Desktop | Cihaz çıktısı: masaüstü, mobil Android veya mobil iOS |
| Wait for soft captcha, sec (0 = ban) | 25 | Soft-captcha geçilmesi için kaç saniye bekleneceği. 0 — proxy'yi hemen yasaklar |
| Page load timeout, sec | 20 | Sayfa yükleme zaman aşımı |
| Pages count | 5 | Kaç sayfa veri çekileceği, 1–25. Rambler ~250'den fazla sonuç vermez, bu nedenle maksimum sayfa sayısı Links per page değerine bağlıdır: 10 sonuç → 25 sayfa, 15 → 17 sayfa, 30 → 8 sayfa, 50 → 5 sayfa. |
| Links per page | 10 | Sayfa başına sonuç: 10 / 15 / 30 / 50 |
| Rambler region ID | Bölge ID'si. BDT dışı IP — Moskova. BDT içi IP — IP'ye göre veya belirtilmişse bu ID'ye göre sonuçlar. ID nasıl öğrenilir — burada | |
| Sort | Sites by relevance | Sıralama: Pages by relevance, Pages by date, Sites by relevance, Sites by date |
| Results filtering | Moderate | Filtre: Unrestricted, Moderate, Family search |
| Results language | Any language | Sonuç dili: herhangi biri veya Belarusian, English, German, French, Kazakh, Russian, Tatar, Turkish, Ukrainian |
| Serp time | Anytime | Dönem: Anytime, Past 24 hours, Past week, Past month |
| Results type | Any format | Doküman türü: herhangi biri veya pdf, doc, rtf, xls, ppt, swf, odt, ods, odp, odg |
| Exact match | ☐ | Sorguyla tam eşleşme |
| Disable autocorrect | ☐ | Otomatik düzeltmeyi devre dışı bırakır, belirtilen sorguya göre veri çeker |
| Max concurrent browser pages | 10 | Veri kazıyıcının aynı anda açık tuttuğu tarayıcı sekmesi sayısı. Yüksek iş parçacığı sayısında dikkatli artırın — bellek ve CPU yükü artar |
| Use sessions | ☑ | İyi oturumları kaydeder, daha az hata, daha hızlı veri çekme |
| Headless browser | ☑ | Penceresiz tarayıcı. Hata ayıklama için işareti kaldırın |