Vai al contenuto principale

SE::YouTube - uno scraper YouTube completo

YouTube

Panoramica dello scraper​

Scraper della SERP di YouTube. Grazie allo scraper YouTube potrai ottenere grandi database di link a video, pronti per un ulteriore utilizzo. Puoi utilizzare le query nello stesso formato in cui le inserisci nella barra di ricerca di YouTube. Utilizzando lo scraper youtube è possibile raccogliere i dati principali dei video in modalità multithreading. Per ottenere dati completi su ogni video, è possibile utilizzare SE::YouTube::VideoSE::YouTube::Video

La funzionalità di A-Parser consente di salvare le impostazioni di scraping dello scraper YouTube per un uso futuro (preset), impostare una pianificazione dello scraping e molto altro. È possibile utilizzare la generazione automatica delle query, la sostituzione di sotto-query da file, l'iterazione di combinazioni alfanumeriche e liste per ottenere il massimo numero possibile di risultati.

Il salvataggio dei risultati è possibile nella forma e nella struttura necessarie, grazie al potente motore di modelli integrato Template Toolkit che consente di applicare logica aggiuntiva ai risultati e di esportare i dati in vari formati, inclusi JSON, SQL e CSV.

Dati raccolti​

I dati vengono raccolti dal servizio http://www.youtube.com/.

  • Risultati principali
    • Link al video
    • Titolo del video (title)
    • Descrizione del video
    • Nome utente
    • Link all'immagine di anteprima
    • Numero di visualizzazioni
    • Durata del video
    • Data di aggiunta del video
    • Numero di iscritti al canale
    • Descrizione AI (summary), se disponibile
Dati raccolti
  • Array di "Ricerche correlate"
    • Parola chiave
    • Link all'anteprima

Funzionalità​

  • Numero massimo di pagine per lo scraping in Youtube - 50 pagine
  • Scelta del paese da cui viene effettuata la ricerca
  • Ricerca per data di aggiunta
  • Scelta del tipo di risultato (video, canali, playlist)
  • Scelta della durata del video
  • Impostazioni avanzate dei parametri di ricerca (sottotitoli, 3D, HD, live, licenza Creative Commons)
  • Sort (Ordinamento) per rilevanza, data di aggiunta, valutazione, numero di visualizzazioni
  • Estrae inoltre il link all'anteprima del video
  • Possibilità di scegliere la lingua dell'interfaccia
  • Possibilità di attivare la modalità provvisoria di ricerca

Casi d'uso​

  • Ricerca, raccolta e analisi di informazioni su Youtube

Query​

Come query è necessario indicare frasi di ricerca, ad esempio:

Calcio   
Cascate del Niagara   
Speak in english  
Cats and dogs  
Automobili

Sostituzioni nelle query​

È possibile utilizzare i macro integrati per moltiplicare le query, ad esempio se vogliamo ottenere un database molto grande di forum, indichiamo alcune query principali in diverse lingue:

forum
forum
foro

Nel formato delle query indichiamo l'iterazione dei caratteri da a a zzzz, questo metodo consente di ruotare al massimo i risultati di ricerca e ottenere molti nuovi risultati unici:

$query {az:a:zzzz}

Questo macro creerà 475254 query aggiuntive per ogni query di ricerca iniziale, il che darà un totale di 4 x 475254 = 1901016 query di ricerca, una cifra impressionante, ma non è affatto un problema per A-Parser. Con una velocità di 2000 query al minuto, tale attività verrà elaborata in sole 16 ore.

Varianti di output dei risultati​

A-Parser supporta la formattazione flessibile dei risultati grazie al motore di modelli integrato Template Toolkit, che gli consente di produrre risultati in forma libera o strutturata, come CSV o JSON

Esportazione di una lista di link​

Analogamente a SE::Google.

Formato del risultato:

[% FOREACH item IN p1.serp;    loop.count _ ' - ' _ item.link _ ' - ' _ item.title _ ' - ' _ item.desc _ "\n"; END %]

Esempio di risultato:

1 - https://www.youtube.com/watch?v=dm_T7H6J2U8 - QUANTO SEI INTELLIGENTE? Un semplice test che molti adulti non supereranno - In questo video potrai verificare quanto sei intelligente. Ti aspetta un <b>test</b>, composto da semplici domande scolastiche ...
2 - https://www.youtube.com/watch?v=iDAYNEV9Kxg - Un test giapponese unico sull'invecchiamento del cervello! Mettiti alla prova! - Un <b>test</b> giapponese unico sull'invecchiamento del cervello! Mettiti alla prova! Questo <b>test</b> è stato sviluppato in Giappone. Come ...
3 - https://www.youtube.com/watch?v=0PEy2_sSy6A - Questo semplice test rivelerà la tua paura più profonda - Il nostro subconscio è un luogo piuttosto oscuro, per comprenderlo servono anni di psicoanalisi. E questo ...
4 - https://www.youtube.com/watch?v=j6K9nIugzAY - India vs England 2nd Test Day 4 Highlights 2021| Royal Sports Tv - India vs England 2nd <b>Test</b> Day 4 Highlights 2021 India vs England 2nd <b>Test</b> Day 4 Highlights 2021 | ind vs eng <b>test</b> series India vs ...
5 - https://www.youtube.com/watch?v=ALDqwSMVYKQ - TEST PSICOLOGICO/ 929 SECONDI DI RISATE/MIGLIORI MOMENTI DIVERTENTI DI FEBBRAIO 2021/PROVA A NON RIDERE! BEST COUB - Canale Telegram: https://t.me/CrazyHumor129k SUL CANALE TROVERAI 929 SECONDI DI RISATE CON I MIGLIORI ...
6 - https://www.youtube.com/watch?v=6X1puBtvc_s - Serie TV Test di gravidanza episodio 1 - serie russa 2015 HD - Anteprima della serie - <b>Test</b> di gravidanza episodio 1 - serie russa 2015 Dopo la morte della paziente la ginecologa Natalya ...
7 - https://www.youtube.com/watch?v=hXuhVD7Dwp0 - Test! Illusioni ottiche che ti riveleranno una verità inaspettata su di te! - <b>Test</b>! Illusioni ottiche che ti riveleranno una verità inaspettata su di te! Esistono molti tipi diversi ...
8 - https://www.youtube.com/watch?v=BYA8lY4o33A - Test! QUALE ANIMALE È IL TUO TALISMANO? Quale predatore si nasconde nella tua anima? Test accurato del carattere - <b>Test</b>! QUALE ANIMALE DIVINO SEI? Quale predatore si nasconde nella tua anima? Un <b>test</b> accurato del carattere Per questo ...
9 - https://www.youtube.com/watch?v=V-kqty2vAm4 - Test! QUALCUNO È SEGRETAMENTE INNAMORATO DI TE! SCOPRI CHI! - <b>Test</b>! QUALCUNO È SEGRETAMENTE INNAMORATO DI TE! SCOPRI CHI! Ti senti spesso solo e sogni di trovare il vero ...
10 - https://www.youtube.com/watch?v=9HtbSe_oJto - Fai questo Test e metti alla prova la tua attenzione - In questo video verificheremo quanto è sviluppata la tua attenzione. Ti aspettano diversi tipi di compiti con vari livelli ...
...

Lo strumento integrato tools.CSVLine consente di creare documenti tabulari corretti, pronti per l'importazione in Excel o Google Fogli.

Formato generale del risultato:

[%  FOREACH i IN p1.serp;    tools.CSVline(i.link, i.title, i.desc); END  %]

Nome del file:

$datefile.format().csv

Testo iniziale:

Link,Ancora,Snippet

suggerimento

Nel Formato generale dei risultati viene applicato il motore di modelli Template Toolkit per l'output dell'array $serp in un ciclo FOREACH.

Nel nome del file dei risultati è sufficiente cambiare l'estensione del file in csv.

Affinché l'opzione "Prepend text" sia disponibile nell'Editor delle attività, è necessario attivare "More options". In "Prepend text" scriviamo i nomi delle colonne separati da virgola e lasciamo la seconda riga vuota.

Concorrenza delle parole chiave​

Analogamente a SE::Google.

Salvataggio in formato SQL​

Formato del risultato:

[%  FOREACH serp;   "INSERT INTO serp VALUES('" _ query _ "', '";   link _ "', '";  title _ "')\n"; END  %]

Esempio di risultato:

INSERT INTO serp VALUES('test', 'https://www.youtube.com/watch?v=dm_T7H6J2U8', 'QUANTO SEI INTELLIGENTE? Un semplice test che molti adulti non supereranno')
INSERT INTO serp VALUES('test', 'https://www.youtube.com/watch?v=iDAYNEV9Kxg', 'Un test giapponese unico sull'invecchiamento del cervello! Mettiti alla prova!')
INSERT INTO serp VALUES('test', 'https://www.youtube.com/watch?v=0PEy2_sSy6A', 'Questo semplice test rivelerà la tua paura più profonda')
INSERT INTO serp VALUES('test', 'https://www.youtube.com/watch?v=BYA8lY4o33A', 'Test! QUALE ANIMALE È IL TUO TALISMANO? Quale predatore si nasconde nella tua anima? Test accurato del carattere')
INSERT INTO serp VALUES('test', 'https://www.youtube.com/watch?v=5Se6w0lOkyY', 'Nuova Renault Duster. Test drive. Anton Avtoman.')
INSERT INTO serp VALUES('test', 'https://www.youtube.com/watch?v=Ko8cFdoOV6U', 'Test! CHE TIPO DI RAGAZZA SEI? Sei più una LADY o un MASCHIACCIO?')
INSERT INTO serp VALUES('test', 'https://www.youtube.com/watch?v=j6K9nIugzAY', 'India vs England 2nd Test Day 4 Highlights 2021| Royal Sports Tv')
INSERT INTO serp VALUES('test', 'https://www.youtube.com/watch?v=9HtbSe_oJto', 'Fai questo Test e metti alla prova la tua attenzione')
INSERT INTO serp VALUES('test', 'https://www.youtube.com/watch?v=V-kqty2vAm4', 'Test! QUALCUNO È SEGRETAMENTE INNAMORATO DI TE! SCOPRI CHI!')
...

Dump dei risultati in JSON​

Analogamente a SE::Google.

Elaborazione dei risultati​

A-Parser consente di elaborare i risultati direttamente durante lo scraping; in questa sezione abbiamo riportato i casi più popolari per lo scraper YouTube

Analogamente a SE::Google.

Analogamente a SE::Google.

Estrazione dei domini​

Analogamente a SE::Google.

Rimozione dei tag dai titoli dei video e dalle descrizioni​

Aggiungere il Result Builders (Costruttore di risultati) e selezionare la sorgente dall'elenco a discesa: $p1.serp.$i.title - Title. Selezionare il tipo: Remove HTML tags.

Aggiungere nuovamente il Result Builders (Costruttore di risultati) e selezionare la sorgente dall'elenco a discesa: $p1.serp.$i.desc - Description. Selezionare il tipo: Remove HTML tags.

Scarica esempio

Come importare l'esempio in A-Parser

eJyVVMtu2zAQ/BWBMJAGUI3k0ItujlsjLZw4tZ1D4fjASCuBDUWyJOXGEPTv3aVo
y07TQ2/kPmb2MWTLPHcv7sGCA+9YtmmZCWeWsdWXLPuhm3XzDMkSar2D5HZ9N088
r1xSWl0na+EluISrIvkMLrfCeKGVYykz3DqwBLg5xUFPASVvpGdpy/zeAPIgsLWi
IKco8G54BbluFMawHZcNxlx3/w4vta25x6ID6iGDjZDfjHvnh4uRp1KTj8mowEKf
ntTFJeu225T1eW4W4ijNXI/jBI7OFd/BWhOVkDCYZ3i753UgK7gH8h4IL8f+lRB4
UQiaCZc9A01kYH1U4lcoVmmMxaMV4GY4WTR5CABk3B+q27BRuDOEaELu9z6HZSWX
DlLmsNQZx0KKtx7hwXKv7SLuKGuZVhMp57ADOYQF/JtGyALXNykx6WtMfD9k8RdG
d2zvlAqX9ttiDUeUcLtZ3A1ZhZ7rCjsvnrFvKWrh8e6mQQkZu0LjC4A5zuyeZlZr
C0eaiBzZUdMGFClkWNnEDKazNs7WcmJsmdONzZFvc5VuGGkKU4OYGMknatKG53Hr
a0k7t5bv0XgIJuX0GaTi9/BIk/8FFxI6TMi1KkW1iE/i0Eaj1viqF2qqayOBhq4a
KVEzDpaDdicuaoQuw/TeJk8DRSCNLxdr0NJ9W/VzNFZgSZ/SWPUpa4TMuZSPy/mp
hw16D1p3BJvjI6o0ypvmHvSfsUrrKjw6eDX4zwAuz9sGui11H3+Z4+/Vnv01Wduh
qn66hz6KuqQYtOG4HEqG/pU/xum9JQ==
suggerimento

Il Costruttore di risultati può essere aggiunto tutte le volte che è necessario.

Vedi anche: Costruttore di risultati

Analogamente a SE::Google.

Impostazioni possibili​

nota

Impostazioni comuni per tutti gli scraper

Nome parametroValore predefinitoDescrizione
DeviceDesktopScelta del tipo di output (Desktop/Mobile)
Pages count10Numero di pagine per lo scraping (da 1 a 50)
Search from countryAuto (Based on IP)Scelta del paese da cui viene effettuata la ricerca
Interface languageEnglishScelta della lingua dell'interfaccia
Restricted mode☐Attiva/disattiva la "Modalità provvisoria" di ricerca
Uploaded timeAll timeRicerca per data di aggiunta
Result typeVideoScelta del tipo di risultato
DurationAllScelta della durata del video
FeaturesAllImpostazioni avanzate dei parametri di ricerca
Sort byRelevancyOrdinamento dei risultati
Advanced filters (param sp=)Consente di specificare combinazioni complesse di filtri. Per fare ciò, è necessario prendere il valore del parametro sp nell'URL del browser e inserirlo in questo campo. Questo valore ha la priorità sui filtri impostati nelle impostazioni dello scraper.