Güncellemeler neden gereklidir ve neden ücretlidir?

A-Parser sürekli gelişmektedir. Yeni sürümlerin yayınlanmasıyla birlikte iyileştirmeler ve düzeltmeler yapılmaktadır. Bu makalede, güncellemelerin ne olduğunu, lisanstan farklarını, hangi rolü oynadıklarını ve neden ücretli olduklarını inceleyeceğiz.

Lisans ≠ güncellemeler

A-Parser'ı satın aldığınızda, kullanımı için süresiz bir lisans ve satın alınan lisansa bağlı olarak 3-6 aylık ücretsiz güncelleme alırsınız. Ücretsiz güncelleme süresi sona erdikten sonra, mevcut olan en son kararlı sürüme güncelleyebilir ve veri kazıyıcıyı, abonelik bitiş tarihinde mevcut olan sürümün izin verdiği ölçüde tam kapasiteyle kullanmaya devam edebilirsiniz.

Aboneliği yenilemek için üç güncelleme paketinden birini satın alabilirsiniz: sırasıyla $49, $149 ve $399 karşılığında 3 aylık, bir yıllık ve ömür boyu.

Güncellemeler için sürekli ödeme yapmanız gerekmez. Güncelleme aboneliğinizin olmadığı dönemler için ödeme yapma zorunluluğu yoktur.

Neden güncellemeler ücretli?

🐞 Hata Düzeltmeleri

Web siteleri ve her türlü kaynak oldukça hızlı gelişiyor. Hedef site tarafındaki en ufak değişiklikler bile veri çekme işlemini etkileyebilir. Bunun nedeni, veri kazıyıcıların başlangıçta belirli bir yapıya göre ayarlanmış olmasıdır; mizanpaj, koruma veya diğer çeşitli dahili mekanizmalardaki değişiklikler, sonuçlarda hatalı verilere, verilerin tamamen eksik olmasına ve diğer hatalara yol açar. Veri çekme işleminin kendisi, sitelere ayrılmış sunucuları olumsuz etkiler: sorgular ve dolayısıyla yük artar. Kâr kaybeden servisler bu durumdan çıkış yolu aramak zorunda kalır, bu nedenle yeni koruma türleri ortaya çıkar ve eskileri gelişir.

Bu tür her değişiklikte düzeltmeler yapılması gerekir. Her düzeltmenin arkasında sorunun analizi, çözüm arayışı ve uygulanması yatar.

🧰 Her gün, her yerleşik veri kazıyıcı bir dahili test sisteminden geçer. Test sorguları başarıyla tamamlanırsa, sonuçta elde edilen değerler kontrol edilir. Başarısız bir test, veri kazıyıcıda hatalar olduğunu gösterir. Testler sayesinde arızalara hızlıca müdahale ediyor ve hemen düzeltme çalışmalarına başlıyoruz.

Bizim için en karmaşık, talep gören ve bu nedenle öncelikli olanlardan bazıları Yandex ve Google arama motoru veri kazıyıcılarıdır. Her biri belirli bir görevi çözen birçok parçadan oluşur. Bunlar arasında sorgu hazırlama, başlık oluşturma, sayfa kaynak kodunu alma, sonuçların çeşitli formatlanması, captcha ile çalışma vb. yer alır. Tüm bunların çalışır durumda tutulması gerekir. Veri kazıyıcı, sayfadaki tüm gerekli verileri içeren değişkenlerin varlığını öngörür: arama sonuçları, reklamlar, ilgili anahtar kelimeler ve diğer değerler. Bunlar, sayfada belirli bir belge yapısının (öğelerin sırası, türleri, sınıfları ve diğer tüm olası özellikler) varlığını varsayan düzenli ifadeler (regex) yardımıyla çekilir. Bu yapıda kritik bir değişiklik olduğunda, önceki sürüme uygun olan regex artık gerekli parçayı alamaz ve veri kazıyıcı revizyona gönderilir.

✨ İyileştirmeler

Yerleşik veri kazıyıcıların çalışır durumda tutulmasının yanı sıra, her sürümle birlikte hem performansı hem de elde edilen veri miktarını etkileyen yeni fonksiyonlar eklenir ve çeşitli iyileştirmeler yapılır. Sürüme yeni veri kazıyıcılar dahil edilir, JavaScript API'de yeni yöntemler uygulanır.

Tüm değişiklikleri buradan görebilirsiniz.

Güncelleme eksikliğiyle ilgili sorunlar

Zamanında güncelleme yapılmaması, yerleşik veri kazıyıcıların hatalı çalışmasına neden olur. Sebepler farklı olabilir. Örneğin, sayfaların mizanpajı değişmiş olabilir. Güncelleme almamış bir veri kazıyıcı, yeni formata uyarlanmamış eski düzenli ifadelerle veri toplamaya çalışır. Sonuç olarak, başarısız sorgular ortaya çıkar, çeşitli hatalar oluşur ve sonuç alınamaz.

Google veri kazıyıcı örneğinde

Bir kullanıcı aşağıdaki sorunla desteğe başvurdu:

Sizin proxylerinizle Google sonuçlarını topluyorum. Sorgu için 300 deneme ayarlandı. Tüm sorgular başarısız oluyor. Daha dün her şey çalışıyordu.

İlk bakışta sorun proxy kaynaklı gibi görünüyor, ancak en son sürümde aynı ayarlar ve sorgularla yapılan testler başarıyla sonuçlanıyor. Demek ki sorun başka bir yerde. Diyalog sırasında kullanıcının A-Parser sürümünün eski olduğu ortaya çıkıyor. Google veri kazıyıcısının hatalı çalışmasının gerçek nedeni budur.

Yandex veri kazıyıcı örneğinde

Yandex'de captcha içeren sayfaların mizanpajı değişti ve bu yüzden captcha çözülemez hale geldi. Forumun Görevler bölümünde ilgili bir konu oluşturuldu.

Ertesi sabah bir düzeltme yayınlandı. Görev kapatıldı ve Next release bölümüne taşındı. Orada, bir sonraki kararlı sürüme dahil edilecek tüm düzeltme ve iyileştirmelerin konuları bulunur.

Buna bağlı olarak, güncel sürümü almamış bir A-Parser Yandex captcha'sı artık çözülmüyordu.

Sonuç

A-Parser'ı satın aldığınızda, programın süresiz kullanım lisansını ve belirli bir süre için ücretsiz güncelleme paketini alırsınız. Gerektiğinde, abonelik süresi dolduğunda sunulan güncelleme paketlerinden birini satın alarak aboneliğinizi yenileyebilirsiniz.

Web siteleri istikrarsızdır; veri kazıyıcılar sürekli düzeltme ve iyileştirme gerektirir. Onları çalışır durumda tutmak bizim işimizdir. Çalışan düzeltmeleri mümkün olan en kısa sürede yayınlamak için büyük çaba sarf ettiğimiz öncelikli görevimizdir. Güncellemelerin maliyeti, arkasındaki emeği yansıtır. Her sürüm sadece bir düzeltme ve iyileştirme listesi değil, A-Parser ekibinin aylarca süren odaklanmış çalışmasıdır.