Ana içeriğe atla

SE::YouTube - Tam Kapsamlı YouTube Veri Kazıyıcı

YouTube

Veri kazıyıcı incelemesi​

YouTube arama sonuçları veri kazıyıcı. YouTube veri kazıyıcı sayesinde, daha sonraki kullanımlar için hazır olan büyük video bağlantı veritabanları elde edebilirsiniz. Sorguları, YouTube arama çubuğuna girdiğiniz şekilde kullanabilirsiniz. YouTube veri kazıyıcıyı kullanarak, çoklu iş parçacığı modunda bir video klip hakkındaki temel verileri toplayabilirsiniz. Her video hakkında tam veri almak için ise SE::YouTube::VideoSE::YouTube::Video kullanabilirsiniz

A-Parser işlevselliği, daha sonra kullanmak üzere YouTube veri kazıyıcı ayarlarını kaydetmenize (presetler), veri çekme zamanlamasını ayarlamanıza ve çok daha fazlasına olanak tanır. Mümkün olan maksimum sonuç sayısını elde etmek için otomatik sorgu çoğaltma, dosyalardan alt sorgu ekleme, alfanümerik kombinasyonların ve listelerin taranmasını kullanabilirsiniz.

Sonuçların kaydedilmesi, sonuçlara ek mantık uygulamanıza ve verileri JSON, SQL ve CSV dahil olmak üzere çeşitli formatlarda çıktı almanıza olanak tanıyan yerleşik güçlü şablon motoru Template Toolkit sayesinde ihtiyacınız olan biçimde ve yapıda mümkündür.

Toplanan veriler​

Veriler http://www.youtube.com/ servisinden toplanır.

  • Ana arama sonuçları
    • Video bağlantısı
    • Video başlığı (title)
    • Video açıklaması
    • Kullanıcı adı
    • Önizleme resmi bağlantısı
    • İzlenme sayısı
    • Video uzunluğu
    • Videonun eklenme tarihi
    • Kanalın abone sayısı
    • Varsa AI açıklaması (summary)
Toplanan veriler
  • "Benzer sorgular" dizisi
    • Anahtar kelime
    • Önizleme bağlantısı

Özellikler​

  • Youtube'da veri çekme için maksimum sayfa sayısı - 50 sayfa
  • Aramanın yapıldığı ülke seçimi
  • Eklenme tarihine göre arama
  • Sonuç türü seçimi (video, kanallar, oynatma listeleri)
  • Video süresi seçimi
  • Arama parametrelerinin gelişmiş yapılandırması (altyazılar, 3D, HD, canlı yayın, Creative Commons lisansı)
  • Alaka düzeyi, eklenme tarihi, derecelendirme, izlenme sayısına göre Sort (sıralama)
  • Ek olarak video önizleme bağlantısını çeker
  • Arayüz dili seçme imkanı
  • Güvenli mod aramasını etkinleştirme imkanı

Kullanım durumları​

  • Youtube'da bilgi arama, toplama ve analizi

Sorgular​

Sorgu olarak arama ifadeleri belirtilmelidir, örneğin:

Futbol   
Niagara Şelalesi   
Speak in english  
Cats and dogs  
Arabalar

Sorgu değişimleri​

Sorguları çoğaltmak için yerleşik makroları kullanabilirsiniz, örneğin çok büyük bir forum veritabanı elde etmek istiyoruz, farklı dillerde birkaç ana sorgu belirtelim:

forum
forum
foro

Sorgu formatında a'dan zzzz'ye kadar karakter taramasını belirtelim, bu yöntem arama sonuçlarını maksimum düzeyde döndürmeye ve birçok yeni benzersiz sonuç elde etmeye olanak tanır:

$query {az:a:zzzz}

Bu makro, her bir kaynak arama sorgusu için 475254 ek sorgu oluşturacaktır, bu da toplamda 4 x 475254 = 1901016 arama sorgusu eder; rakam etkileyici olsa da A-Parser için bu hiç sorun değildir. Dakikada 2000 sorgu hızıyla bu görev sadece 16 saatte işlenecektir.

Sonuç çıktı seçenekleri​

A-Parser, yerleşik şablon motoru Template Toolkit sayesinde sonuçların esnek bir şekilde formatlanmasını destekler, bu da sonuçları rastgele bir formda ve CSV veya JSON gibi yapılandırılmış bir biçimde çıktı almasına olanak tanır.

Bağlantı listesi dışa aktarma​

SE::Google ile benzer şekilde.

Sonuç formatı:

[% FOREACH item IN p1.serp;    loop.count _ ' - ' _ item.link _ ' - ' _ item.title _ ' - ' _ item.desc _ "\n"; END %]

Sonuç örneği:

1 - https://www.youtube.com/watch?v=dm_T7H6J2U8 - NE KADAR ZEKİSİN? Birçok yetişkinin geçemeyeceği Basit Test - Bu videoda ne kadar zeki olduğunuzu kontrol edebilirsiniz. Sizi bekleyen <b>test</b>, basit okul sorularından oluşan ...
2 - https://www.youtube.com/watch?v=iDAYNEV9Kxg - Beyin yaşlanması üzerine benzersiz bir Japon testi! Kendinizi mutlaka kontrol edin! - Benzersiz Japon <b>testi</b> beyin yaşlanması üzerine! Kendinizi mutlaka kontrol edin! Bu <b>test</b> Japonya'da geliştirilmiştir. Nasıl ...
3 - https://www.youtube.com/watch?v=0PEy2_sSy6A - Bu Basit Test En Gizli Korkunuzu Ortaya Çıkaracak - Bilinçaltımız — oldukça karanlık bir yerdir, onu anlamak için uzun yıllar psikanaliz gerekir. Ve bu ...
4 - https://www.youtube.com/watch?v=j6K9nIugzAY - India vs England 2nd Test Day 4 Highlights 2021| Royal Sports Tv - India vs England 2nd <b>Test</b> Day 4 Highlights 2021 India vs England 2nd <b>Test</b> Day 4 Highlights 2021 | ind vs eng <b>test</b> series India vs ...
5 - https://www.youtube.com/watch?v=ALDqwSMVYKQ - PSİKOLOJİ TESTİ/ 929 SANİYE KAHKAHA/ŞUBAT 2021 EN İYİ ŞAKALAR GÜLME GARANTİLİ/GÜLMEMEYE ÇALIŞ! BEST COUB - Telegram kanalı: https://t.me/CrazyHumor129k KANALDA EN İYİLERLE 929 SANİYE MÜKEMMEL KAHKAHA BULACAKSINIZ ...
6 - https://www.youtube.com/watch?v=6X1puBtvc_s - Hamilelik Testi dizisi 1. bölüm - Rus dizisi 2015 HD - Dizinin prömiyeri - <b>Test</b> hamilelik üzerine 1. bölüm - Rus dizisi 2015 Hastanın ölümünden sonra jinekolog Natalya ...
7 - https://www.youtube.com/watch?v=hXuhVD7Dwp0 - Test! Size Beklenmedik Gerçekleri Açıklayacak Optik İllüzyonlar! - <b>Test</b>! ! Size Beklenmedik Gerçekleri Açıklayacak Optik İllüzyonlar! Birçok farklı türde mevcuttur ...
8 - https://www.youtube.com/watch?v=BYA8lY4o33A - Test! HANGİ HAYVAN SİZİN TILSIMINIZ? Ruhunuzda hangi yırtıcı saklanıyor? Kesin karakter testi - <b>Test</b>! ! HANGİ KUTSAL HAYVANSINIZ? Ruhunuzda hangi yırtıcı saklanıyor? Kesin <b>test</b> karakter üzerine Bunun için ...
9 - https://www.youtube.com/watch?v=V-kqty2vAm4 - Test! BİRİ SANA GİZLİCE AŞIK! KİM OLDUĞUNU ÖĞREN! - <b>Test</b>! ! BİRİ SANA GİZLİCE AŞIK! KİM OLDUĞUNU ÖĞREN! Sık sık kendinizi yalnız hissediyor ve gerçek aşkı bulmayı hayal ediyorsanız ...
10 - https://www.youtube.com/watch?v=9HtbSe_oJto - Bu Testi Geçin ve Dikkatinizi Kontrol Edin - Bu videoda dikkatinizin ne kadar gelişmiş olduğunu kontrol edeceğiz. Sizi birkaç seviyeli farklı görev türleri bekliyor ...
...

Yerleşik tools.CSVLine aracı, Excel veya Google Tablolar'a aktarılmaya hazır doğru tablo belgeleri oluşturmanıza olanak tanır.

Genel sonuç formatı:

[%  FOREACH i IN p1.serp;    tools.CSVline(i.link, i.title, i.desc); END  %]

Dosya adı:

$datefile.format().csv

Başlangıç metni:

Bağlantı,Ankor,Snippet

ipucu

Genel sonuç formatında, $serp dizisini bir FOREACH döngüsünde çıktı almak için Template Toolkit şablon motoru kullanılır.

Sonuç dosya adında dosya uzantısını csv olarak değiştirmeniz yeterlidir.

"Prepend text" seçeneğinin Görev Düzenleyici'de kullanılabilir olması için "More options"i etkinleştirmeniz gerekir. "Prepend text" kısmına sütun adlarını virgülle ayırarak yazıyoruz ve ikinci satırı boş bırakıyoruz.

Anahtar kelime rekabeti​

SE::Google ile benzer şekilde.

SQL formatında kaydetme​

Sonuç formatı:

[%  FOREACH serp;   "INSERT INTO serp VALUES('" _ query _ "', '";   link _ "', '";  title _ "')\n"; END  %]

Sonuç örneği:

INSERT INTO serp VALUES('test', 'https://www.youtube.com/watch?v=dm_T7H6J2U8', 'NE KADAR ZEKİSİN? Birçok yetişkinin geçemeyeceği Basit Test')
INSERT INTO serp VALUES('test', 'https://www.youtube.com/watch?v=iDAYNEV9Kxg', 'Beyin yaşlanması üzerine benzersiz bir Japon testi! Kendinizi mutlaka kontrol edin!')
INSERT INTO serp VALUES('test', 'https://www.youtube.com/watch?v=0PEy2_sSy6A', 'Bu Basit Test En Gizli Korkunuzu Ortaya Çıkaracak')
INSERT INTO serp VALUES('test', 'https://www.youtube.com/watch?v=BYA8lY4o33A', 'Test! HANGİ HAYVAN SİZİN TILSIMINIZ? Ruhunuzda hangi yırtıcı saklanıyor? Kesin karakter testi')
INSERT INTO serp VALUES('test', 'https://www.youtube.com/watch?v=5Se6w0lOkyY', 'Yeni Renault Duster. Test sürüşü. Anton Avtoman.')
INSERT INTO serp VALUES('test', 'https://www.youtube.com/watch?v=Ko8cFdoOV6U', 'Test! SEN NASIL BİR KIZSIN? İçinde hangisi daha fazla: HANIMEFENDİ mi yoksa ERKEK FATMA mı?')
INSERT INTO serp VALUES('test', 'https://www.youtube.com/watch?v=j6K9nIugzAY', 'India vs England 2nd Test Day 4 Highlights 2021| Royal Sports Tv')
INSERT INTO serp VALUES('test', 'https://www.youtube.com/watch?v=9HtbSe_oJto', 'Bu Testi Geçin ve Dikkatinizi Kontrol Edin')
INSERT INTO serp VALUES('test', 'https://www.youtube.com/watch?v=V-kqty2vAm4', 'Test! BİRİ SANA GİZLİCE AŞIK! KİM OLDUĞUNU ÖĞREN!')
...

Sonuçları JSON olarak dökme​

SE::Google ile benzer şekilde.

Sonuç işleme​

A-Parser, sonuçları doğrudan veri çekme sırasında işlemenize olanak tanır; bu bölümde YouTube veri kazıyıcı için en popüler durumları sunduk

SE::Google ile benzer şekilde.

SE::Google ile benzer şekilde.

Alan adlarını ayıklama​

SE::Google ile benzer şekilde.

Video başlıklarından ve açıklamalarından etiketleri kaldırma​

Result Builders (Sonuç oluşturucu) ekleyin ve açılır listeden kaynağı seçin: $p1.serp.$i.title - Title. Türü seçin: Remove HTML tags.

Tekrar Result Builders (Sonuç oluşturucu) ekleyin ve açılır listeden kaynağı seçin: $p1.serp.$i.desc - Description. Türü seçin: Remove HTML tags.

Örneği indir

A-Parser örnek nasıl aktarılır

eJyVVMtu2zAQ/BWBMJAGUI3k0ItujlsjLZw4tZ1D4fjASCuBDUWyJOXGEPTv3aVo
y07TQ2/kPmb2MWTLPHcv7sGCA+9YtmmZCWeWsdWXLPuhm3XzDMkSar2D5HZ9N088
r1xSWl0na+EluISrIvkMLrfCeKGVYykz3DqwBLg5xUFPASVvpGdpy/zeAPIgsLWi
IKco8G54BbluFMawHZcNxlx3/w4vta25x6ID6iGDjZDfjHvnh4uRp1KTj8mowEKf
ntTFJeu225T1eW4W4ijNXI/jBI7OFd/BWhOVkDCYZ3i753UgK7gH8h4IL8f+lRB4
UQiaCZc9A01kYH1U4lcoVmmMxaMV4GY4WTR5CABk3B+q27BRuDOEaELu9z6HZSWX
DlLmsNQZx0KKtx7hwXKv7SLuKGuZVhMp57ADOYQF/JtGyALXNykx6WtMfD9k8RdG
d2zvlAqX9ttiDUeUcLtZ3A1ZhZ7rCjsvnrFvKWrh8e6mQQkZu0LjC4A5zuyeZlZr
C0eaiBzZUdMGFClkWNnEDKazNs7WcmJsmdONzZFvc5VuGGkKU4OYGMknatKG53Hr
a0k7t5bv0XgIJuX0GaTi9/BIk/8FFxI6TMi1KkW1iE/i0Eaj1viqF2qqayOBhq4a
KVEzDpaDdicuaoQuw/TeJk8DRSCNLxdr0NJ9W/VzNFZgSZ/SWPUpa4TMuZSPy/mp
hw16D1p3BJvjI6o0ypvmHvSfsUrrKjw6eDX4zwAuz9sGui11H3+Z4+/Vnv01Wduh
qn66hz6KuqQYtOG4HEqG/pU/xum9JQ==
ipucu

Sonuç oluşturucuyu ihtiyacınız olduğu kadar çok kez ekleyebilirsiniz.

Ayrıca bakınız: Sonuç oluşturucu

SE::Google ile benzer şekilde.

Olası ayarlar​

not

Tüm veri kazıyıcılar için ortak ayarlar

Parametre adıVarsayılan değerAçıklama
DeviceDesktopÇıktı türü seçimi (Desktop/Mobile)
Pages count10Veri çekme için sayfa sayısı (1'den 50'ye kadar)
Search from countryAuto (Based on IP)Aramanın yapıldığı ülke seçimi
Interface languageEnglishArayüz dili seçimi
Restricted mode☐Aramanın "Güvenli Mod"unu etkinleştir/devre dışı bırak
Uploaded timeAll timeEklenme tarihine göre arama
Result typeVideoSonuç türü seçimi
DurationAllVideo süresi seçimi
FeaturesAllArama parametrelerinin gelişmiş yapılandırması
Sort byRelevancySonuçların sıralanması
Advanced filters (param sp=)Karmaşık filtre kombinasyonlarını belirtmeye olanak tanır. Bunun için tarayıcıdaki URL'de yer alan sp parametresinin değerini alıp bu alana yapıştırmanız gerekir. Bu değer, veri kazıyıcı ayarlarında belirtilen filtrelere göre önceliğe sahiptir.