SE::Yandex - Yandex arama sonuçları Veri Kazıyıcı

Veri kazıyıcı incelemesi

Yandex arama sonuçları veri kazıyıcı, haklı olarak en çok talep edilen ilk 5 veri kazıyıcı arasında yer almaktadır. Veri kazıyıcımızın en büyük rekabet avantajlarından biri muazzam performansıdır. A-Parser'ın çoklu iş parçacığı (multithreading) yapısı sayesinde, sorgu işleme hızı dakikada 3000-7000 sorguya ulaşabilir; bu da dakikada ortalama 5.000.000 bağlantı elde etmeyi sağlar. Üstelik kaynak tüketimi minimum düzeydedir; herhangi bir ofis veya ev bilgisayarı ile giriş seviyesi bir VDS çalışması için yeterlidir. Veri kazıyıcımız, veri çekme olanaklarını önemli ölçüde genişleten tüm Yandex arama operatörlerini destekler. Arama sonuçlarının kesintisiz ve kararlı bir şekilde çekilmesi, AntiCaptcha veya bunları destekleyen diğer API'ler (Anti-Captcha, RuCaptcha, CapMonster.cloud, 2captcha ve diğerleri) aracılığıyla captcha tanıma sayesinde sağlanır.

Ayarlardaki esneklik; sonuç türünü (mobil/masaüstü), bölgeyi, dili, sonuçların tarihe göre sıralanmasını ve çok daha fazlasını belirtmenize olanak tanır. A-Parser işlevselliği, veri çekme ayarlarını daha sonra kullanmak üzere kaydetmenize (presetler), veri çekme zamanlaması oluşturmanıza ve daha fazlasına imkan verir. Mümkün olan maksimum sonuç sayısını elde etmek için sorguların otomatik çoğaltılmasını, dosyalardan alt sorgu eklenmesini, sayısal-harf kombinasyonlarının ve listelerin taranmasını kullanabilirsiniz.

Sonuçların kaydedilmesi, sonuçlara ek mantık uygulamanıza ve verileri JSON, SQL ve CSV dahil olmak üzere çeşitli formatlarda dışa aktarmanıza olanak tanıyan güçlü yerleşik şablon motoru Template Toolkit sayesinde ihtiyacınız olan biçim ve yapıda mümkündür.

DEMO'ya gitA-Parser Pro Satın Al ($299)

Veri kazıyıcı kullanım örnekleri

🔗 Yandex Arama Sonuçları ve Pozisyon Numarası

Yandex arama sonuçlarını ve sonucun pozisyon numarasını alır. Sonuç bir csv dosyasına kaydedilir.

🔗 Yandex Lite Arama Sonuçlarını Veri Çekme

Bu makalede, Yandex arama motorunun lite sürümünden bilgi toplamak için bir veri kazıyıcı oluşturma örneği incelenmiştir.

🔗 Yandex Reklamlarını Veri Çekme

Preset, Yandex arama sonuçlarındaki reklam bloğunu ayrıştırır ve sonucu json formatında kaydeder.

🔗 Yandex Rekabet Değerlendirmesi

Preset, anahtar kelimelere göre Yandex arama motorundaki rekabeti belirler.

🔗 Yandex Önbellek Veri Kazıyıcı

Preset içerisinde Yandex arama motoru önbellek bağlantılarını alma özelliği uygulanmıştır.

🔗 Yandex'den Sadece Snippet Veri Çekme

Bu preset, Yandex'de arama yapmak için parametre olarak bir kelime veya kelime grubu kabul eder.

Toplanan veriler

• Sorgu başına sonuç sayısı
• Arama sonuçlarından bağlantılar, anchorlar ve snippet'ler
  • Ayrıca her sonucun bayrakları (flags) hakkında bilgi toplanır; şu anda desteklenen bayraklar: Date, Image Preview, Video, Rich snippet, Featured snippet
• İlk ve son önbelleğe alma zamanı (yalnızca masaüstü sonuçları için)
• İlgili anahtar kelimeler listesi (Related keywords)
• Yandex'in sorguyu yazım hatası olarak değerlendirip değerlendirmediğini belirler
• Sayfa önbellek bağlantısının çekilmesi (yalnızca masaüstü sonuçları için)
• Varsa site simgelerinin (favicon) adları ve türlerinin listesi (Turbo dahil)
• Tüm sayfalardan üst, orta ve alt reklam blokları
  • Bağlantı, görünen bağlantı, anchor, snippet ve alan adı
  • Ek bağlantılar ve anchorlar
  • Metro istasyonu
• Eksik kelimeler (arama sonuçlarında her sonucun altında "Bulunamadı" notuyla görüntülenebilen kelimeler)
• Hızlı yanıtlar listesi (Quick answers): sorular, yanıtlar, kaynak bağlantıları (ayrı bir "Parse Quick answers" seçeneği ile etkinleştirilir)
• AI yanıtı (Alice ile Arama), türü ve kaynak listesi

Özellikler

• Sonuç türü seçimi: mobil/masaüstü
• Tüm Yandex arama operatörleri desteği (site:, lang: vb.)
• Yandex tarafından sunulan maksimum sonuç sayısını çeker - sayfa başına 50 öğe olmak üzere 25 sayfa
• İlgili anahtar kelimeleri arama imkanı
• Arama bölgesi ve alan adı seçimini destekler
• Sonuçları tarihe göre sıralama imkanı
• Sayfa indeksleme zamanını çeker ve sonuçları bu parametreye göre filtreleme imkanı sunar
• Tarayıcı emülasyonu seçeneği (yüksek veri çekme hızı ve düşük captcha tüketimi sağlar)
• AntiCaptcha servisi veya bunları destekleyen herhangi bir API aracılığıyla captcha aşma imkanı (antigate ayarlarında is_russian parametresinin etkinleştirilmesi önerilir)
• Her soruyu derinlemesine tıklayarak veri kazıyıcının toplaması gereken hızlı yanıt (Quick answers) sayısını belirleme imkanı

Yandex veri kazıyıcı temelinde aşağıdaki veri kazıyıcılar çalışır:

• SE::Yandex::Position - Yandex'de anahtar kelimelere göre site pozisyonlarının kontrolü

Kullanım senaryoları

• Bağlantı veritabanlarının toplanması - A-Poster, XRumer, AllSubmitter vb. için.
• Anahtar kelimeler için rekabet değerlendirmesi
• Sitelerin backlinklerini (bahsedilmelerini) arama
• Sitelerin indekslenme durumunu kontrol etme
• Güvenlik açığı olan siteleri arama
• Yandex veri çekme işlemini içeren diğer tüm senaryolar

Sorgular

Sorgu olarak, doğrudan Yandex arama formuna giriyormuşsunuz gibi arama ifadeleri belirtilmelidir, örneğin:

pencere İstanbul
lang:en windows Moscow
url:a-parser.com
site:a-parser.com
"a-parser.com"

Sorgu makroları

Sorguları çoğaltmak için yerleşik makroları kullanabilirsiniz; örneğin, çok büyük bir forum veritabanı elde etmek istiyorsak, farklı dillerde birkaç ana sorgu belirtelim:

forum
forum
foro
论坛

Sorgu formatında a'dan zzzz'ye kadar karakter taramasını belirtelim; bu yöntem arama sonuçlarını maksimum düzeyde döndürmenize ve birçok yeni benzersiz sonuç elde etmenize olanak tanır:

$query {az:a:zzzz}

Bu makro, her bir orijinal arama sorgusu için 475254 ek sorgu oluşturacaktır; bu da toplamda 4 x 475254 = 1901016 arama sorgusu demektir. Rakam etkileyici olsa da A-Parser için hiç sorun değildir. Dakikada 2000 sorgu hızıyla bu görev sadece 16 saatte tamamlanacaktır.

Operatör kullanımı

Sorgu formatında arama operatörlerini kullanabilirsiniz, böylece listenizdeki her sorguya otomatik olarak eklenecektir:

site:$query

Hesaplar

SE::Yandex veri kazıyıcısının çalışması için Yandex hesapları gerekebilir. Hesaplar SE::Yandex::Register veri kazıyıcı kullanılarak kaydedilebilir veya mevcut hesaplar [desteklenen formatta](/parsers/se-yandex-register#account_format) ```files/SE-Yandex/accounts.txt``` dosyasına eklenebilir.

Veya "anında" hesap kaydını etkinleştirebilirsiniz.

Oturum (session) üzerinden yetkilendirme kullanarak çalışmak için veri satırının şu formatta olması gerekir: [email protected];MAQT78Z31Rinx4H;{"answer":"qmfhsxdcrk","proxy":"185.104.120.45:3128","session_id":"3:1748440908.5.0.1748440867459:ZXBxpg:47e4.1.2:1|2191075974.41.2.2:41.3:1748440908|3:10308131.797655.5pfkoRZWgLJGntKTlcUhYdysNfk"}

Sonuç çıktı seçenekleri

A-Parser yerleşik şablon motoru sayesinde sonuçların esnek bir şekilde formatlanmasını destekler Template Toolkit, bu da sonuçları serbest formda veya CSV ya da JSON gibi yapılandırılmış formatlarda çıktı almanıza olanak tanır

Bağlantı listesini dışa aktarma

Sonuç formatı:

$serp.format('$link\n')

Sonuç örneği:

https://TestoMetrika.com/tests/
https://onlinetestpad.com/ru/tests
https://www.speedtest.net/
https://ustaliy.ru/testi/
https://yandex.ru/internet/
https://konstruktortestov.ru/popular
https://TestEdu.ru/test/
https://kto-chto-gde.ru/category/tests/
https://weekend.rambler.ru/tests/
https://GadalkinDom.ru/test
...

Bağlantılar + anchorlar + pozisyon çıktısı ile snippet'ler

Sonuç formatı:

[% FOREACH item IN serp;    loop.count _ ' - ' _ item.link _ ' - ' _ item.anchor _ ' - ' _ item.snippet _ "\n"; END %]

Sonuç örneği:

1 - http://forum.r-rp.ru/ - <b>forum</b>.r-rp.ru - 
2 - https://forum.arizona-rp.com/ - <div class=a11y-hidden>Ek bağlantılar içeren web sonucu</div><b>Forum</b> – Arizona Role Play - Menü. Ana Sayfa. <b>Forumlar</b>. Yeni mesajlar. Neler yeni? Yeni mesajlar. Kullanıcılar. Mevcut ziyaretçiler. <b>Forumlar</b>. Giriş. ... İstatistikleri <b>forum</b>. Konular. 1,247,176. Mesajlar. 5,225,340. Kullanıcılar. 623,675. 
3 - https://ru.wikipedia.org/wiki/%D0%A4%D0%BE%D1%80%D1%83%D0%BC - <b>Forum</b> — Vikipedi - <b>Fórum</b> (Lat. <b>forum</b> — ark. mezar önü; işlenecek üzüm için sıkma yerindeki alan; pazar meydanı, şehir pazarı; ticaret yeri, merkezi meydan):
4 - https://zen.yandex.ru/media/propromotion/chto-takoe-forum-i-vse-chto-s-nim-sviazano-5d65164c1d656a00ad52ba30 - Nedir <b>forum</b> ve onunla ilgili her şey | Kreatif... - Bugün forumun ne olduğunu ve onunla ilgili her şeyi basit ve anlaşılır kelimelerle konuşacağız. Her birimiz, ortak ilgi alanları üzerine iletişim kurabileceğimiz, deneyimlerimizi paylaşabileceğimiz, tavsiye verebileceğimiz birini bulmaya çalışırız. Modern dünyada tüm bunları evden çıkmadan yapmak mümkün hale geldi. İşte bu tür sanal temas biçimlerinden biri de web-<b>forum</b> dur.<b>forum</b>. 
5 - https://forum.vimeworld.ru/ - VimeWorld - <b>Forum</b> - <b>Forum</b> ideal Minecraft oyun sunucuları projesi - VimeWorld...
...

Bağlantıları, anchorları ve snippet'leri CSV tablosuna aktarma

Yerleşik araç $tools.CSVLine Excel veya Google Tablolar'a aktarılmaya hazır doğru tablo belgeleri oluşturmanıza olanak tanır.

Genel sonuç formatı:

[%  FOREACH i IN p1.serp;    tools.CSVline(i.link, i.anchor, i.snippet); END  %]

Dosya adı:

$datefile.format().csv

Başlangıç metni:

Bağlantı,Anchor,Snippet

ipucu

Genel sonuç formatında Template Toolkit şablon motoru dizisini yazdırmak için $serp döngüsünde FOREACH.

Sonuç dosya adında dosya uzantısını csv olarak değiştirmeniz yeterlidir.

"Başlangıç metni" seçeneğinin Görev Düzenleyici, 'de görünmesi için "Daha fazla seçenek" kısmını etkinleştirmeniz gerekir. "Başlangıç metni" kısmına sütun adlarını virgülle ayırarak yazın ve ikinci satırı boş bırakın.

Reklam bloklarını yazdırma

Sonuç formatı:

$ads.format('$link - $anchor - $snippet\n')

Sonuç örneği:

http://yabs.yandex.ru/count/WcOejI_zO3C2vH80P1zY-_ryBtnaD0K0CmCnZYWCO000000u109mhiMfd8qUW07CkUOvY07Kyz3GCP01vCcQhIwO0PgqhFigk06qZQ3m6C01NDW1gkAR5E01kAZK4-W1y06W0kYCvAl-Wue5-0Bmwl7WeSQurUK1c0FRc3lkh0Ju1Bpr48W5lFKGa0MxjssW1Qxa1QW5hkG5i0Mkv0Mu1OYr9S05eTt90SW5aFn4YkWqZwuhO8VP1W00012H0000gGVlTvJIyeiV0R07W82O3BW7W0Nn1tjIyvgFUtz-X8A0WSIqXdB92j4AXC7wM-4_u3nZJEzt003CKjw5aRa50DaBw0kyzRAxthu1gGn-j62AsN3cl-WCemBW3OE0W4293eDHIPs09kwAqTFvwFMAi8VO3WAX3zaFW13WszlG4DcTXo9ZI0HkD3-n4YxXl0bOc-q2u1E8jIMW58Yr9QWKkxTjl9wVx0Ne58m2q1Mydf_i1TWLmOhsxAEFlFnZyA0Mq92TW0R95l0_q1Qokzw-0O4N0F0_c1UwdvGKg1S9m1Uq0jWNm8GzcHYW60wm68UTi806q1WX-1Yf-9keZlxncYM06R3qkEBGlP6v890P0Q0PmWEm6RWP____0T8P4dbXOdDVSsLoTcLoBt8qEJSjCkWPWC83y1c0mWE16l__WxZFMxv27W2GPM2khLr2HGBSgKCU4fSjR_apLy29ToVZBSaX0K10aLK2xDc6HsxyWlx3mqOzRTCnV7G7IDvEXnY4YqauFXdHmHcIWrcJNGT1NfMC_8eB8q1m1-WEYbKFtWBTZHwcD4A80G00~1?from=yandex.ru%3Bsearch%26%23x2F%3B%3Bweb%3B%3B0%3B&amp;q=%D0%BA%D1%83%D0%BF%D0%B8%D1%82%D1%8C+%D0%B0%D0%B2%D0%B8%D0%B0%D0%B1%D0%B8%D0%BB%D0%B5%D1%82%D1%8B&amp;etext=2202.wBaB7RlytlP_PRaU6jPhHD2nHBNT_4gSF6009OyJEfpWjUPoA5WrSJAqCfap0m9ReXhoaGRlaWhmYmllemF2ZA.f04b1271668949ea17ffcafcb11c72c2ab6454c5 - <b>Satın al</b> <b>uçak bileti</b> nereye / aviasales.ru - Sunuyoruz: <b>Satın al</b> <b>uçak bileti</b> buradan. Süper teklif! Acele edin!
http://yabs.yandex.ru/count/WgGejI_zO5e2rHG092HY-_ryhkYFF0K0MWCnZYWCO000000u109mhDZpa8WGW07ZZm680U2f-wrQa07AywxRoe20W0AO0ShphjjAk06oWAxe8C01NDW1e8MobW7W0TJCXm_e0O01c0BImFq2e0BuQjW20l02g_w3YWNu0l3gyU2XnhZLvG600vF6eiSFY0FStR-O39W3cyKxYga3-0JJpWI81TFE1905Z-zGe0MPj06e1PMM0R05bPO1k0NInnJ01TF1ZG781PNz8uheD8-kAs27sGO0000GaG000Aa7xtUKqlAB7m6m1u20c0ou1u05yGTxKlEQZtj_VeI2l3M02W712l_aZtPQIU8_oGeJ5NRdMhxJFweB4E0yOqplTm00p5BUXP6v1G3P2-WBqyu4y0i6Y0ookzw-0QaCu_jL-Yu3zB_e3AC2u0s3W810YGwgO5HI9w3dYj7J-UZrYh27s0u2-0x7dPAe2Q4FFGhNet0zzZ_P3_0_W13GmC4Rm92GPpgqxC9xJZC_iHAuM7p6uhZj0k0JqiSKe1JInnIe58_lKB0KYw381hWKmAo0jQI04TWK-FpP_WNe58m2q1Nu_Dd-1TWLmOhsxAEFlFnZyA0Mq92TW0R95j0MihlUlW615vWNfwZz3wWN2S0Nj0BO5y24FPaOe1WAi1Z9fB201j0O8VWOgVYRg8x-yPebW1cmzBZYqBsHkI2G6G6W6S83i1cu6V___m7I6H9vOM9pNtDbSdPbSYzoD3atBJBe6O320_0PWC83WHh__oD2TTsApne0jsLWrgrT_2INXiZt8r8kcvWxe0SCE37tPBmjEYG0203ecjreFlD0AY-khXXjgcFZa190IXd9BOrkl3guMzzraExES_xHXH4WwWDq1xIoUlHJ6Y74~1?from=yandex.ru%3Bsearch%26%23x2F%3B%3Bweb%3B%3B0%3B&amp;q=%D0%BA%D1%83%D0%BF%D0%B8%D1%82%D1%8C+%D0%B0%D0%B2%D0%B8%D0%B0%D0%B1%D0%B8%D0%BB%D0%B5%D1%82%D1%8B&amp;etext=2202.wBaB7RlytlP_PRaU6jPhHD2nHBNT_4gSF6009OyJEfpWjUPoA5WrSJAqCfap0m9ReXhoaGRlaWhmYmllemF2ZA.f04b1271668949ea17ffcafcb11c72c2ab6454c5 - <b>Satın al</b> <b>uçak bileti</b> Tutu.ru'da çevrimiçi! Resmi site! - Düşük fiyata uçak biletleri! Tüm dünyada avantajlı uçuşlar! <b>Satın al</b> çevrimiçi bilet!
http://yabs.yandex.ru/count/WcOejI_zO3C2vH80P1zY-_ryBtnaD0K0CmCnZYWCO000000u109mhiMfd8qUW07CkUOvY07Kyz3GCP01vCcQhIwO0PgqhFigk06qZQ3m6C01NDW1gkAR5E01kAZK4-W1y06W0kYCvAl-Wue5-0Bmwl7WeSQurUK1c0FRc3lkh0Ju1Bpr48W5lFKGa0MxjssW1Qxa1QW5hkG5i0Mkv0Mu1OYr9S05eTt90SW5aFn4YkWqZwuhO8VP1W00012H0000gGVlTvJIyeiV0R07W82O3BW7W0Nn1tjIyvgFUtz-X8A0WSIqXdB92j4AXC7wM-4_u3nZJEzt003CKjw5aRa50DaBw0kyzRAxthu1gGn-j62AsN3cl-WCemBW3OE0W4293eDHIPs09kwAqTFvwFMAi8VO3WAX3zaFW13WszlG4DcTXo9ZI0HkD3-n4YxXl0bOc-q2u1E8jIMW58Yr9QWKkxTjl9wVx0Ne58m2q1Mydf_i1TWLmOhsxAEFlFnZyA0Mq92TW0R95l0_q1Qokzw-0O4N0F0_c1UwdvGKg1S9m1Uq0jWNm8GzcHYW60wm68UTi806q1WX-1Yf-9keZlxncYM06R3qkEBGlP6v890P0Q0PmWEm6RWP____0T8P4dbXOdDVSsLoTcLoBt8qEJSjCkWPWC83y1c0mWE16l__WxZFMxv27W2GPM2khLr2HGBSgKCU4fSjR_apLy29ToVZBSaX0K10aLK2xDc6HsxyWlx3mqOzRTCnV7G7IDvEXnY4YqauFXdHmHcIWrcJNGT1NfMC_8eB8q1m1-WEYbKFtWBTZHwcD4A80G00~1?from=yandex.ru%3Bsearch%26%23x2F%3B%3Bweb%3B%3B0%3B&amp;q=%D0%BA%D1%83%D0%BF%D0%B8%D1%82%D1%8C+%D0%B0%D0%B2%D0%B8%D0%B0%D0%B1%D0%B8%D0%BB%D0%B5%D1%82%D1%8B&amp;etext=2202.wBaB7RlytlP_PRaU6jPhHD2nHBNT_4gSF6009OyJEfpWjUPoA5WrSJAqCfap0m9ReXhoaGRlaWhmYmllemF2ZA.f04b1271668949ea17ffcafcb11c72c2ab6454c5 - <b>Satın al</b> <b>uçak bileti</b> nereye / aviasales.ru - Sunuyoruz: <b>Satın al</b> <b>uçak bileti</b> buradan. Süper teklif! Acele edin!
...

İlgili anahtar kelimeleri kaydetme

Sonuç formatı:

$related.format('$key\n')

Sonuç örneği:

<b>test</b> tanki online
tanki online
tüm <b>testler</b> nokta ru
i exam ru test
<b>test</b> internet hızı
<b>tests</b>24.ru
speedtest
çevrimiçi <b>test</b> bilgisayar performansı
çevrimiçi test
my <b>test</b> student cevaplar nasıl öğrenilir
...

ipucu

Sonuçtaki HTML etiketlerini otomatik olarak kaldırmak için Sonuç Oluşturucu, kullanmalı, $related dizisini seçmeli ve Remove HTML tags.

Anahtar kelime rekabeti

Sonuç formatı:

$query - $totalcount\n

Sonuç örneği:

tüm testler nokta ru - 25000000
çevrimiçi test - 13000000
tanki online - 7000000
i exam ru test - 27000000
tests24.ru - 238000000
çevrimiçi bilgisayar performans testi - 16000000
speedtest - 2000000
internet hız testi - 16000000
test tanki online - 19000000
my test student cevaplar nasıl öğrenilir - 16000000

Hatalı anahtar kelimelerin belirlenmesi

Sonuç formatı:

$query - $misspell\n

Sonuç örneği:

çevrimiçi test - 0
internet hız testi - 0
çevrimici test - 1
internet hiz testi - 1

Bağlantı indeksleme kontrolü

Sorgu formatı:

site:$query

Sonuç formatı:

$query.orig - $totalcount\n

Sonuç örneği:

https://a-parser.com/pages/buy - 2
https://a-parser.com/wiki/parsers - 16
https://trjkjfkdf.bg.ky - 0
https://a-parser.com/resources - 1000
https://a-parser.com/forum - 499

ipucu

Bağlantıların indekslenmesini kontrol etmek için Sorgu Formatına ilgili operatörü ekliyoruz: site:.

Sonuç formatı "kaynak url - indeksteki sayfa sayısı" şeklinde görüntülenir.

Sonuç olarak sayfaların adresini ve arama motoru indeksindeki sayılarını alırız.

Eğer sayfa mevcut değilse sonuç: 0.

SQL formatında kaydetme

Sonuç formatı:

[%  FOREACH serp;   "INSERT INTO serp VALUES('" _ query _ "', '";   link _ "', '";  anchor _ "')\n"; END  %]

Sonuç örneği:

INSERT INTO serp VALUES('test', 'https://konstruktortestov.ru/popular', 'Popüler çevrimiçi <b>testler</b>')
INSERT INTO serp VALUES('test', 'https://TestoMetrika.com/tests/', 'Çevrimiçi <b>testler</b> c psikolojik testlerden kesin sonuçlarla...')
INSERT INTO serp VALUES('test', 'https://ustaliy.ru/testi/', '<b>Testler</b> çevrimiçi: en iyi, ilginç ve popüler')
INSERT INTO serp VALUES('test', 'https://www.SunHome.ru/tests/Interesting_tests', 'İlginç <b>testler</b>. İlginç psikolojik testleri çözün...')
INSERT INTO serp VALUES('test', 'https://onlinetestpad.com/ru/tests', '<b>Testler</b> çevrimiçi | Online Test Pad')
...

Sonuçları JSON formatında dökme

Genel sonuç formatı:

[% IF notFirst;
  ",\n";
ELSE;
  notFirst = 1;
END;

obj = {};
obj.totalcount = p1.totalcount;
obj.links = [];

FOREACH item IN p1.serp;
    obj.links.push(item.link);
END;

obj.json %]

Başlangıç metni:

[

Bitiş metni:

]

Sonuç örneği:

[{"totalcount":113000000,"links":["https://TestoMetrika.com/tests/","https://konstruktortestov.ru/popular","https://ustaliy.ru/testi/","https://www.SunHome.ru/tests/Interesting_tests","https://GadalkinDom.ru/test","https://zen.yandex.ru/tes","https://onlinetestpad.com/ru/tests","https://kto-chto-gde.ru/category/tests/","https://psytests.org/top.html","https://MixTests.com/new/","https://TestEdu.ru/test/","https://testserver.pro/index","https://onedio.ru/tests","https://BankTestov.ru/","https://weekend.rambler.ru/tests/","https://edieta.org/testi","https://trikky.ru/?%21","https://BBF.ru/tests/","https://dropi.ru/c/tests/raznie","https://cadelta.ru/tests","https://www.Elle.ru/tests/","https://www.adme.ru/svoboda-psihologiya/polnyj-spisok-psihologicheskih-testov-dlya-poznaniya-sebya-kotorye-mozhno-projti-onlajn-2071715/","https://www.ellegirl.ru/tests/","https://test.tankionline.com/","https://vraki.net/onlajn-testy/","https://Lifehacker.ru/psixologicheskie-testy/","https://iq2u.ru/tests","https://www.b17.ru/tests/","https://ru.wikipedia.org/wiki/%D0%A2%D0%B5%D1%81%D1%82","https://gurutest.ru/test/","https://www.psychologies.ru/tests/","https://peopletalk.ru/category/tests/","https://obrazovaka.ru/testy","https://likeyou.io/category/test/","https://ProfTest.me/tests","https://TayniyMir.com/testy","https://psi-technology.net/psytest/","https://www.kp.ru/putevoditel/online-test/","https://tvoytest.ru/","https://twizz.ru/tests/","https://lunanews.net/testy/","https://www.ivi.ru/titr/tests","https://sntch.com/tests/","https://testy.online/","https://videouroki.net/tests/","https://www.speedtest.net/ru","https://rb.ru/tests/","https://aznaetelivy.ru/tests/","https://woman-psy.com/psihologicheskie-testy/testy_na_eruditsiyu_i_znaniya/interesnye_testy/","https://mamochka-club.com/psihologicheskie-testy/interesnye-testy/"]}]

ipucu

"Başlangıç metni" ve "Bitiş metni" seçeneklerinin Görev Düzenleyici, 'de görünmesi için "Daha fazla seçenek" kısmını etkinleştirmeniz gerekir.

Sonuç işleme

A-Parser sonuçları doğrudan veri çekme sırasında işlemenize olanak tanır; bu bölümde Yandex veri kazıyıcı için en popüler senaryoları sunduk

Bağlantı deduplikasyonu

Deduplikasyon ekleyin ve açılır listeden seçin $serp.$i.link - Link.

Örneği indir

Örnek A-Parser'a nasıl aktarılır?

eJx9VE2P2jAQ/SurEYdWQqvQLpfcWFSqVnTZLuyhohy8ZIJcHNu1HQqK+O+dCUkc
ttVeoszze/NtVxCE3/tHhx6Dh3Rdga3/IYXlpzT9IXSGx5u51Ht/86zl7xJhCFY4
j47p6x6LDjLMRakCDCsIJ4vkxBzQOZmxSmZkW2eOJ4fBSfSEHYQqmTZKkgTOb8jE
Drem1CFqRm/QFedr0bEsKsZJT1K2xVC5nHK6BqrJEsBi2AwbxupC95Sx3kGLflbm
RShIgyvxvNm0XvzMuEJw8wZ2dNt0sjtcigOuDB3mUsXIfkbWgyg4yiATAfn0Nq8d
vXt/G47sQWSZDNJooS4RuPcxajOYFLQhLv1yd2fOFAQFrB0weGqzW8OgtmOV3y8a
SHOhPA7BU6ozQYlkr09kQCeCcQvL+RBegdETpeZ4QBVptf/7UqqMFmWSk+hLI/w/
ZfGPj3NXXj8UDfqPoxw6L7V1v/gWVZmZmx1Vnr3UwyxkINtP6+1JISFwj2i7nj1w
zwrjsAvTeG6i092wqHmr4sgmNkJXZVyN5RrcGp3L3aLZ1JZZ6hVdwIWemsIq5Lp0
qRSNxeNTXI+Jb8bARkzwtXhah+DS23sIwRjlvy4vqVonaf3GnGBBnexHbVxuhVLP
T/P+CcSVIuNnmdzdfeDvx3H9P7ogwNqAO0NbRZWdN90r0b0tVf+tSKszjeqXf7yQ
uC6mEEYN8jQHvuB/AYBymo0=

ipucu

Ayrıca bakınız: Sonuç deduplikasyonu

Alan adına göre bağlantı deduplikasyonu

Deduplikasyon ekleyin ve açılır listeden seçin $serp.$i.link - Link. Deduplikasyon türünü seçin: Alan Adı.

Örneği indir

Örnek A-Parser'a nasıl aktarılır?

eJx9VE2P2jAQ/SvI4tBKCIV2ueTG0lK1ost2YQ8V5WDIBLk4tms7FBTx33fGCXHY
VnuxPG/mzbddMc/dwT1acOAdS9cVM+HOUrb8nKY/ucrg1JsLdXC9ZyX+lNDbnnuf
dMGFYgNmuHVgibju2KMig5yX0rNBxfzZALrTR7BWZIBKkaFsrD6dLXgrwCF25LIk
s1GSJOzyBo3vYadL5SNn9Ia5pMwNWKJFxjjpUMpQFiqxcEo5XTOsySBAZLYZNBar
2jy71l6jX6TecslSb0u4bDZXL26mbcGpjX0zGjY9bZVLfoSVRmUuZIzsZig98IKi
9DPugbTDPDh6937oT+SBZ5nwQisu6wjU+xi1HhHylUZbvFJ3Z1YXCHkIDgg8X7Nb
s36QY5U/ag5Lcy4dDJjDVGccE8lea4QHy722C0P5IF4xrSZSzuEIMpoF//elkBku
yiRH0teG+H+TxT8+Lm153VA46L8Wc2i9BOl+8T2yMj3XexrZNgyzEB5lNw3bk7IE
wQOAaXv2QD0rtIU2TOO5iY6vxICirYojm5gI3ZRxM5ZbcKdVLvaLZlOvlqVa4VNc
qKkujASqS5VS4lgcPMX1mLhmDCTEBF+TpyEElX59h8xrLd23ZZ2qsQLXb0wJFtjJ
btTG5Y5L+fw072pYXCkUfpXJ3d0HOj+Ow31UI4y4HvYatworu2zaX6L9ZaruX5FW
FxzVb/dYG1FdZIIYNsjhHOiBvwAa7J3h

ipucu

Ayrıca bakınız: Sonuç deduplikasyonu

Alan adlarını çıkarma

Sonuç Oluşturucu ekleyin ve açılır listeden kaynağı seçin: $p1.serp.$i.link - Link. Türü seçin: Extract Domain.

Örneği indir

Örnek A-Parser'a nasıl aktarılır?

eJx9VEtv2zAM/isFkcMGBIGzNRff0qwBNmRN17SHIetBi+lAiyxpkpwlMPzfR8qO
7XZDL4b5+Eh+fKiCIPzB3zv0GDyk2wps/IcUNrdp+l3oDE9Xt6fgxC5cfTKFkNrD
GKxwHh0jtgNHMmSYi1IFGFcQzhYpjjmiczJDMsqMZOvM6ewwOIkc6ShUyW7TJEmg
fgMm9rgzpQ49ZvqGu5L64C06hvWIWVI/P4+BKFKNfmlcIZjqyE4nLe/OuBFHfDRk
zKXCXr0k6U4UnHKUiYBsneQx0Lv3k3DiCCLLZJBGC9Vk4Db1WZ+0/B0Za0O+9MuN
WDpTkCpgDMDK86W6LYyiDBSijNhvDQbSXCiPY/BU6lJQIdlriwzoRDBubbke0ldg
9FypFR5R9W4x/k0pVUYznecE+twC/++y/idG3dEbpqKZ/HFUQxclSjfrrz0qMyuz
J+bZT+KtZCEDyX4RB51CQsoDou16dsc9K4zDLk0buc1Om2xR8wL0I5vbXvWCxoux
DJQVeFO6HeXbJuMt0KLbWJw+AG9Pu3HYHEVzEzx158SZ9K17MO0WQk2YndG53K/b
Jb1kLvUjnd9aL0xhFXKfdKkUjdnjQ79uc9+OlYWe8GvwIqbgVl5OkGowyn/ZNNSt
k1TSjAkXNJlh1jbkTij19LAaWqBfURJ+lMn19Qf+fpzF/2mjAcYG3BvaUmLGhNsH
ontZquEzkVY1jf6Xv2+cmBe7kI4a5GmufNt/AaiMmIc=

ipucu

Ayrıca bakınız: Sonuç Oluşturucu

Anchor ve snippet'lerden etiketleri kaldırma

Sonuç Oluşturucu ekleyin ve açılır listeden kaynağı seçin: $p1.serp.$i.anchor - Anchor. Türü seçin: Remove HTML tags.

Tekrar Sonuç Oluşturucu ekleyin ve açılır listeden kaynağı seçin: $p1.serp.$i.snippet - Snippet. Türü seçin: Remove HTML tags.

Örneği indir

Örnek A-Parser'a nasıl aktarılır?

eJyVVN9v2jAQ/lcii4dNQihs5SVvFA11Ey0dtA8T64NHLszDsT3bYaCI/313jknS
rqq0lyi+u++7X59dM8/d3t1bcOAdyzY1M+GfZWz9Kcu+cZXDMVlBqQ+Q3DzcLhLP
dy4prC6Tqdr+1NYlGJOslTCGKIbMcOvAEtmmx4GOHApeSc+GNfMnA5gCSa0VOaBT
5Hg2Vh9PFrwVQEwHLisKG6dpys5vwPgOtrpSvsOM3wiXQu2dAUuwDjFJz09PQ4bd
Y41urm3JaQoDMx7FkbTONT/Ag0ZnISR05jme7nhJKQc590DeURGI3r0f+SMx8DwX
XmjFZZOBxtRlfVTid+hYaYzFXxrEHGeNJg+BgIynS3UbNghnhhRVwH5tMCwruHQw
ZA5LnXMsJH/pER4s99ouDdWD9pppNZVyAQeQXVjgv66EzHGn0wJBnyPw9ZDlPxzn
tr1+KtzJH4s1tCzhdL287VC5Xugddp7/wL6lKIXHs5uFRWcsReMewLQzu6OZldpC
myYyx+wocgOKBNCtbGo607M2nq2lZ6yZ05XdYr5NOtwwFLqhrYabwEg/UXM23Jgb
X0pyW8tPaIzRnqQTISTT1xhdc5/+i/KCOSNmq1Uhdsuo/Es7lXrA675UM10aCTR8
VUmJ2nGw6jQ8dVErdOim+BI8CyloP5d7jWVo6b6sm3kaK7CqyTAW3s8aKbdcysfV
ou9hne7x8L1Kr64+0PfjJPyPGwsjrIedRuljZ9RwfHXal6zuvz1ZfUY9/XL3TRD1
RSFowwE5FAs9GH8BhLW+Jg==

ipucu

Sonuç Oluşturucu'yu ihtiyacınız olduğu kadar çok kez ekleyebilirsiniz.

Ayrıca bakınız: Sonuç Oluşturucu

İçermeye göre bağlantı filtreleme

Filtre ekleyin ve açılır listeden seçin: $serp.$i.link - Link. Türü seçin: Dize içerir. Ardından Dize kısmına filtreleme kriterini yazın; örneğin, sonuçta yalnızca .com, içeren bağlantıların kaydedilmesini istiyorsanız "Dize" kısmına bunu yazın.

Örneği indir

Örnek A-Parser'a nasıl aktarılır?

eJx9VE2P2jAQ/SvI4tBKCMFhL7mxqEit6LJd2EOFOHjxJHJxbNd2KCjKf++ME+Kw
rfaW+Xhv3nw4NQvcn/yzAw/Bs2xfMxu/Wca2X7LsJ9cCLqOVVAGc1MXo7TryIX5J
PVJSn9iEWe48OELvByAMCMh5pQKb1CxcLSCnOYNzUgAGpUDbOnO5OkBG8Og7c1VR
2nw2m7HmAxgv4GgqHRJm/kE66fQWHMES4mE2gOSxQwxi9yQ52zPsyaIjNnmYdBm7
Nv1odOBSDyRPj6ZE09ggjUbbg/asORxujH5lXMlprmM7n3ZD7oNbfoadaXVAcuPc
4YmXxD8WPABFp3kk+vR5Gi7EwIWQVJOrtgLtIVV91fJ31KcN5uInTXrlUGvGAkQC
cl5v6vZsHG3quIrYHy2GZTlXHibMo9QVRyHifUTifHgwbhNngP6aGb1Qag1nUCkt
8j9WUgk8mkWOoK8d8P8pm384mr69YSlc+h+HGnqWaD1uvieUMGtTYOfiLS62lAFt
v4yXlLEZOk8Atp/ZE82sNA76Mh1zVx2fjQVNF5ZWtrDJddfG3VrunXhNuSw23dXe
Miu9w7e50UtTWgXUl66UwrV4eEnnsfDdGshIAt+Dl7EEtX57kywYo/y3bSvVOonn
90ACS5zksGpHeeRKvb6shxGWTiqekyfaI95pYfCCsIvm0P8d+l9MPfxHZHWDa/nl
n9sk6oFS0IfD8PElzZu/Z6ed/A==

ipucu

Ayrıca bakınız: Sonuç filtreleri

Olası ayarlar

not

Tüm veri kazıyıcılar için ortak ayarlar

Parametre adı	Varsayılan değer	Açıklama
AntiGate preset	default	Util::AntiGate preset seçimi, ayar hakkında daha fazla detay burada
AntiGate preset for old captcha	default	AntiGate preset ile benzerdir, ancak yalnızca normal (eski, tek resim şeklindeki) captchalar için kullanılır. Burada bir preset seçilmezse, bu tür captchalar için AntiGate preset içinde seçilen preset kullanılır.
Experimental img captcha max count	5	Deneme başına maksimum tekrar eden captcha resmi sayısı
Preffered captcha type	Click	Tercih edilen captcha türü seçimi: Click veya Puzzle
Engine	HTTP (Fast, JavaScript Disabled)	Motor seçimine olanak tanır: HTTP (daha hızlı, ancak captcha olasılığı daha yüksek) veya tarayıcı (daha yavaş, ancak captcha olasılığı daha düşük)
Device	Modern desktop computer (Windows 10, Chrome 84)	Sonuç türü seçimi (Desktop computer / Mobile device)
Pages count	5	Veri çekilecek sayfa sayısı (1 ile 25 arası)
Sort serp by date	☐	Sonuçları tarihe göre sıralama
Serp time	All time	Arama periyodu
Yandex domain	www.yandex.ru	Veri çekilecek Yandex alan adı, tüm alan adları desteklenir (.ru, .ua, .by, .kz, .com.tr, .com). 1.1.345 sürümünden itibaren seçilen bölgeye göre otomatik olarak seçilir.
Region of serp (lr=)	Moskova	Arama bölgesi seçimi (lr= parametresi)
Custom region ID		Seçim alanında bulunmayan bir bölge kimliği (id) belirtme imkanı. Bu seçenek Region of serp (lr=) seçeneğine göre önceliklidir. Yandex domain kısmında ilgili alan adının ayarlanması zorunludur.
Search sites from (rstr=)	Not set	Sitelerin bölgesel bağlılık seçimi (rstr= parametresi)
Language	Any	Arama sonuçları dili (Rusça, İngilizce, Belarusça, Fransızca, Almanca, Endonezce, Kazakça, Tatarca, Türkçe, Ukraynaca)
Parse not found	☑	Aranan sorgu için sıfır sonuç bulunduğunda ve başka bir sorgu için sonuç önerildiğinde verinin çekilip çekilmeyeceğini belirler
Not personalized	☐	Aramayı kişiselleştirme. Buradan daha fazla detay
Filter pages	Moderate filter	İstenmeyen içeriklere karşı sonuç filtreleme (Family search / Moderate filter / Do not filter)
Use Accounts	☐	files/SE-Yandex/accounts.txt dosyasındaki mevcut hesaplarla çalışma. SE::Yandex::Register - Yandex'de hesap kaydetmeye olanak tanır
Remove bad accounts	☑	Geçersiz hesapların silinmesi
Quick answers count	0	Veri kazıyıcının her sorgu için toplaması gereken maksimum soru-cevap (Hızlı yanıtlar) sayısı
Parse generative answer	☐	Üretken yanıtın (generative answer) çekilip çekilmeyeceği (bu ek bir alt sorgu ekler ve dolayısıyla genel çalışmayı yavaşlatır)
Accounts	Only from "accounts.txt"	Hesaplarla çalışma yöntemi seçimi: Always auto register - hesapları her zaman "anında" otomatik olarak kaydet, SE::Yandex::Register preset parametresinde yapılandırılmış bir preset seçilmesi gerekir. Auto register if no more in "accounts.txt" - önce accounts.txt dosyasındaki mevcut hesaplar kullanılır, eğer biterlerse "anında" otomatik kayıt kullanılır; bunun için SE::Yandex::Register preset parametresinde yapılandırılmış bir preset seçilmelidir. Only from "accounts.txt" - yalnızca accounts.txt dosyasındaki mevcut hesapları kullan, eğer biterlerse yenilerinin gelmesi için belirtilen süre kadar (Wait new accounts in "accounts.txt" parametresi) bekle. Only by session_id from "accounts.txt" - çerezler üzerinden yetkilendirme.
Remove bad accounts	Always, except wrong login/password	"Kötü" hesapların otomatik olarak silinmesi: Always - her zaman sil. Always, except wrong login/password - Yandex'in yanlış kullanıcı adı/şifre belirtildiğini bildirdiği durumlar hariç her zaman sil. Mesele şu ki, Yandex bu mesajı tamamen çalışan bir hesap için IP engellemesi durumunda da verebilir, bu nedenle isteğe bağlı olarak bu tür hesaplar tekrar kullanım için bırakılabilir. Never - asla silme. Seçilen seçenekten bağımsız olarak, proxy/tarayıcı hatalarında hesaplar silinmez
Use sessions	☑	Oturum kullanımı
Wait new accounts in "accounts.txt"	0	accounts.txt dosyasında yeni hesapların görünmesi için bekleme süresi
SE::Yandex::Register preset	default	SE::Yandex::Register için ayar preseti seçimi
Force neuro	☐	Nöro yanıtın zorunlu olarak etkinleştirilmesi, "Arama" ve "Alice ile Arama" arasındaki manuel geçişe benzer