Ana içeriğe atla

Bir Görevde Birden Fazla Veri Kazıyıcı

Özellikler ve Avantajlar​

A-Parser, sorguların aynı anda birden fazla veri kazıyıcı tarafından işlenmesini destekler, bu da şunları sağlar:

  • Aynı anda birden fazla arama motorunun sonuçlarını çekme
  • Alan adlarını birçok parametreye göre analiz etme
  • Farklı arama motorlarından ve Yandex.Wordstat'tan gelen önerilerden anahtar kelimeleri eş zamanlı toplama
  • Alan adları için Whois ve DNS bilgilerini toplama
  • Diğer birçok kullanım senaryosu

Veri kazıyıcı ekleme​

Yeni bir veri kazıyıcı eklemek için Görev Düzenleyici'deki Add Parser (Veri kazıyıcı ekle) butonuna tıklamanız yeterlidir:

Görev düzenleyicide Veri kazıyıcı ekle butonu

Her veri kazıyıcı numaralandırılmıştır; sonuç oluşturucu ve sonuç biçimlendirme sırasında her bir veri kazıyıcıya ait sonuçlara kısaltmalar aracılığıyla erişilebilir:

$p1, $p2... - buradaki sayı veri kazıyıcı numarasını temsil eder.

Genel sonuç formatında varsayılan olarak, her bir veri kazıyıcının sonuçları, her veri kazıyıcının ayarlarında belirtilen formatta sırayla görüntülenir.

Tek bir görevde birden fazla veri kazıyıcı kullanmak, tek bir veri kazıyıcıya yapılan eş zamanlı sorgu sayısını azalttığı için toplam veri çekme hızını artırır; buna bağlı olarak proxy banlanması veya captcha gösterimi daha seyrek gerçekleşir.

Her veri kazıyıcı, sorgu oluşturucu kullanıldığında orijinal sorguyu veya varyasyonunu işler ve ayarlarda kendi sorgu formatına sahiptir; ancak, bir veri kazıyıcının sonuçlarını bir sonraki veri kazıyıcıya sorgu olarak aktarmak mümkün değildir (bu özellik gelecek için planlanmıştır).

Alan adı analizi örneği​

Alan adı analizi örneği

Bu örnekte, sorgu olarak yakında süresi dolacak (yeniden tescil edilebilir hale gelecek) alan adlarının bir listesini kullanıyoruz; amacımız iyi parametrelere sahip alan adlarını seçmektir, bunun için altı farklı veri kazıyıcı kullandık:

  • SE::GoogleSE::Google - Google'da site:$query formatında sorgu yaparak dizine eklenen sayfa sayısını öğreniyoruz
  • Rank::BingAnalyticsRank::BingAnalytics - alan adının küresel sıralamasını öğreniyoruz
  • SE::GoogleSE::Google - Google'da "$query" formatında sorgu yaparak alan adından bahsedilme sayısını öğreniyoruz
  • SE::Google::TrustCheckSE::Google::TrustCheck - Google'ın siteye ne kadar güvendiğini öğreniyoruz
  • SE::Google::SafeBrowsingSE::Google::SafeBrowsing - sitenin güvenli olmayan site olarak işaretlenip işaretlenmediğini öğreniyoruz
  • Rank::AhrefsRank::Ahrefs - Ahrefs servisi üzerinden alan adına gelen geri bağlantı (backlink) sayısını öğreniyoruz

Sonuç formatında, orijinal sorguyu (alan adı) ve her bir veri kazıyıcıdan gelen sonuçları istediğimiz sırayla yazdırıyoruz:

$query, $p1.totalcount, $p2.globalRank, $p3.totalcount, $p4.trustrank, $p5.exists, $p6.bl\n
Örneği indir

Örnek A-Parser nasıl aktarılır

eJy1Vd1v2zYQ/1cMIg/bYKhxuvZBb47X7ANZ7dnOU1wEjHSSWVMkS1J2PCP/++5I
yrLTFOiADXrR8b5+v7vj8cA8dxs3s+DAO5bfH5gJ/yxnY8Xl/m8Y/KIbLpQbXGWX
bMgMtw4smd6zxYc8/1XrWgIqZrwGN5joVvlB62Aws/ppz4YH5vcGMJzegrWiJFNR
ovylBbuvtG24x6Mtly1ZOeEhvwg69vxpeM/mXG3y/FqoOuDxonBoXkLFW+kZWfwP
KFYsQlixCKJPkedL2zo/WUOxOcHxbxOsvTf5mzenRE9zLHgF11bvHNL+b7PEco7X
Fir3XZHvvJAPy9Yqhz/wkKajzzFW2BJufLHmmOHTkKEBRnQ3EUyeKjkcXJhR5rXn
sqDmkHyV1VI/ckmYSH77Qv9z5qnWNqnfZfAknHf0/z57lKuVYsd0C76FpcZ0lQhz
0KFA6SNvCOhFyT2QNot1+uHHzD8RE16WwguN0xUx02z3PO6U+BKIKo22xEWAu7G6
wSMPIUAg2PG9T4RxNFkbfP+KPiyvuHQwZA6h3nAEUr7U4Oxb7rWdGsKD5wem1VjK
W9iC7M1C/OtWyBIv4rhCp9+T4+sm069iPB/pnabCzu8sYjhGCdL19M/eq9S3uu6K
IUUjPMouXDc8pf2wATDHmn0ks0ZbOKZJkVN23DsGFI1Z37Kx6Y/OaJy15fyw0KoS
9TSNbmfZqiUut6ma6MZIIF6qlRLb4mDej8fYpTaQ0AN86TwJKRDW8cowr7V0fywi
VGMFjt87AthgJU+zppAFl/JufnuqIUfntZmqD9a+aF8YDMblVjjdZIVuVoo3Da9l
/C/WAmsT/7EQvNzFf5Ca21KrJDnP7b7mUfrcqoIWaJSkrrGBLukaTphsFJCLg1Ik
lRO1Es6kZG6jpeEqSbu1qCVXZZT2equtXycojDh7qDXeBuwI7p/u9Ti+N4fT7Y3S
6+sbFacLrtsp3WuktK/QA2dmROWfxG00Rzahhm+HrJapSRi+SMM6Ck3D8GGXAxaf
/YRHazIFwl6Gdw+l3W6X1QEi8aLGiwZ0i0HeXw7jgpx3Wa8eju9nPyjIxEQiCFBV
BnOhIy4PyyOROAhgDUWOktRYO7wzUcII+Ll4h0aETfkl38AiHoZ4uNs80RjRzVQb
ZzAe8iWql3HN/QY83pkuXTe6iM125YrWFhCZ8yVIvg/RS9iKAgItt8GR7fweuVJQ
FhK4ag1VhJCEPsWbeuxWPrjo13u3u1PVZty51Gp0l9QL9ozr5rXHPz+g4hsP8le6
s4c0aM8eQDzBo89uFseSNkBKgKskFnb0/A8Hayy4

⏩ Birden fazla veri kazıyıcıdan hazır ayar oluşturma video örneği​

Bu video eğitiminde, Google arama sonuçlarından anahtar kelimeye göre tematik alan adlarını çekmek ve bu alan adları için çeşitli parametreler elde etmek amacıyla bir hazır ayar (preset) oluşturma yöntemi ele alınmaktadır.

Eğitimde şunlar incelenmektedir:

  • Google arama sonuçlarını çekme
  • Benzersiz sonuçları ana alan adları olarak çıktı alma
  • Aşağıdaki gibi parametrelerin elde edilmesi:
    • alan adının kayıtlı olup olmadığı
    • alan adının kayıt tarihi ve bitiş tarihi
    • web sitesi dili
    • title ve description
    • site kalite indeksi
    • Alexa küresel sıralamasındaki konumu
    • Alexa'ya göre en çok trafik alan ülke
    • Alexa'ya göre bu ülkedeki sıralama konumu