SE::Yandex::Video - Scraper Yandex Video

Panoramica dello scraper

Scraper per la ricerca video su Yandex. Grazie allo scraper SE::Yandex::Video potrai ottenere database di link a video. Puoi utilizzare le query nello stesso formato in cui le inserisci nella barra di ricerca di Yandex.

Le funzionalità di A-Parser consentono di salvare le impostazioni di scraping dello scraper Yandex per un uso futuro (preset), impostare pianificazioni di scraping e molto altro. Puoi utilizzare la generazione automatica delle query, la sostituzione di sotto-query da file, l'iterazione di combinazioni alfanumeriche e liste per ottenere il massimo numero possibile di risultati.

Il salvataggio dei risultati è possibile nel formato e nella struttura necessari, grazie al potente motore di modelli integrato Template Toolkit che permette di applicare logica aggiuntiva ai risultati e di esportare i dati in vari formati, inclusi JSON, SQL e CSV.

Vai alla DEMO Acquista A-Parser Pro ($299)

Dati raccolti

Link ai video
Anchor
Snippet
Nome del servizio su cui si trova il video
Durata, numero di visualizzazioni e data di pubblicazione
Link al poster e all'anteprima video
Breve riassunto del video
Elenco delle sezioni nel video
Codice per l'incorporamento nei siti

Funzionalità

Supporto per i filtri (brevi, recenti)
Scelta del numero di pagine dei risultati
Supporto per le sessioni

Casi d'uso

Raccolta di video per popolare blog, tube, doorway...
Raccolta di dati testuali

Query

Come query è necessario indicare frasi di ricerca, ad esempio:

Cats
Football  
Waterfall  
Speak in english   
cars

Sostituzioni nelle query

Puoi utilizzare le macro integrate per moltiplicare le query, ad esempio se vogliamo ottenere un database molto grande di forum, indichiamo alcune query di base in diverse lingue:

forum
forum
foro
论坛

Nel formato della query indichiamo l'iterazione dei caratteri da a a zzzz, questo metodo permette di ruotare al massimo i risultati di ricerca e ottenere molti nuovi risultati unici:

$query {az:a:zzzz}

Questa macro creerà 475254 query aggiuntive per ogni query di ricerca iniziale, il che darà un totale di 4 x 475254 = 1901016 query di ricerca, una cifra impressionante, ma non è affatto un problema per A-Parser. Con una velocità di 2000 query al minuto, tale attività verrà elaborata in sole 16 ore.

Varianti di output dei risultati

A-Parser supporta la formattazione flessibile dei risultati grazie al motore di modelli integrato Template Toolkit, che gli consente di produrre risultati in forma libera o strutturata, come CSV o JSON.

Output predefinito

Formato del risultato:

$serp.format('$link\n')

Esempio di risultato:

http://www.youtube.com/v/lcYzh7IjJj0
http://www.youtube.com/watch?v=VD2h2YUY_WQ
http://www.youtube.com/watch?v=UPOUE8ObCy8
http://www.youtube.com/watch?v=Ha9Q1kHqCHA
http://www.youtube.com/watch?v=P5rlifhgewY
https://zen.yandex.ru/video/watch/61099fa859eaef364db8b3cd?f=video
http://www.youtube.com/v/-cvEA8897Fc?fs=0
https://zen.yandex.ru/video/watch/625ed4e3099b9b7b81b17e3b?f=video
http://rutube.ru/video/016773a106036e9d3cd619ace97011e0/
http://rutube.ru/video/e54b2392b7dd3fe57fed6002aba5f833/
http://rutube.ru/video/8fe868740089c3557d6d54e86ceca6a1/
http://www.youtube.com/v/OuOK2fEPdMU
http://www.youtube.com/watch?v=UcbmVFYp4Lg
http://www.youtube.com/watch?v=JgJE4oQf-Gs
http://www.youtube.com/watch?v=ektN1-ptnDE

Output in tabella CSV

Formato del risultato:

[% FOREACH item IN serp;
    tools.CSVline(query, item.link, item.anchor, item.prevPoster, item.duration, item.views);
END %]

Esempio di risultato:

test,http://www.youtube.com/v/lcYzh7IjJj0,"<b>Test</b> per l'IQ con l'aiuto di 10 foto",https://avatars.mds.yandex.net/get-vthumb/4322300/5f649751351f727400bfd1be494fd6b4/564x318_1,07:09,"2,5 mln di visualizzazioni"
test,http://www.youtube.com/watch?v=VD2h2YUY_WQ,"Online <b>Test</b> Pad -come creare da soli un <b>test</b>",https://avatars.mds.yandex.net/get-vthumb/1023253/fffa43fb9402c436d6881537bb9aee9a/564x318_1,05:38,"16,6 mila visualizzazioni"
test,http://www.youtube.com/watch?v=UPOUE8ObCy8,"Semplice educativo <b>test</b>.  Online <b>Test</b> Pad",https://avatars.mds.yandex.net/get-vthumb/3435353/fa94c2b60d9bb0fa8cda2d469b6dcf0a/564x318_1,04:16,"76,5 mila visualizzazioni"
test,http://www.youtube.com/watch?v=Ha9Q1kHqCHA,"Creiamo <b>test</b> con Online <b>Test</b> Pad #2",https://avatars.mds.yandex.net/get-vthumb/2032788/4ffd2b149fbfc3de17b67ef92290028e/564x318_1,07:00,"1704 visualizzazioni"
test,http://www.youtube.com/watch?v=P5rlifhgewY,"Questo IQ-<b>test</b> di 5 domande mostrerà il tuo livello di intelligenza",https://avatars.mds.yandex.net/get-vthumb/4507451/f3475d744f7841b40912dd933dce65c1/564x318_1,08:01,"606 mila visualizzazioni"
test,https://zen.yandex.ru/video/watch/61099fa859eaef364db8b3cd?f=video,"Spotlight 4 classe. Finale <b>test</b>.  Exit <b>test</b>",https://avatars.mds.yandex.net/get-vthumb/3304426/beaeeaba5bfc6c00bcae50c4fa7cf236/564x318_1,09:39,
test,http://www.youtube.com/v/-cvEA8897Fc?fs=0,"English grammar <b>test</b>",https://avatars.mds.yandex.net/get-vthumb/2428342/b5b8a32f0260ce4ac785b6a4f1a8b006/564x318_1,12:35,"597 mila visualizzazioni"
test,https://zen.yandex.ru/video/watch/625ed4e3099b9b7b81b17e3b?f=video,"QUESTE risposte le sanno in pochi ""Brain <b>Test</b>"" #1",https://avatars.mds.yandex.net/get-vh/5811343/2a00000180429688a113593b8944b066f53d/564x318_1,17:07,
test,http://rutube.ru/video/016773a106036e9d3cd619ace97011e0/,"Come superare il gioco Brain <b>Test</b> 2?  Risposte per tutti i livelli",https://avatars.mds.yandex.net/get-vthumb/4407993/aa07260f286afde40d15abad02f816af/564x318_1,1:29:03,
test,http://rutube.ru/video/e54b2392b7dd3fe57fed6002aba5f833/,"Brain <b>Test</b> Soluzione completa № 4 Ci immergiamo nel mondo dei rompicapo",https://avatars.mds.yandex.net/get-vthumb/467972/c078458de66e698c5680527352261b9d/564x318_1,26:23,
test,http://rutube.ru/video/8fe868740089c3557d6d54e86ceca6a1/,"SpeedTest - SpeedTest - Test della velocità della connessione internet",https://avatars.mds.yandex.net/get-vthumb/3446066/7cca0b8914479dcfe294b06246ea6df8/564x318_1,05:16,"223 mila visualizzazioni totali"

Salvataggio in formato SQL

Formato del risultato:

[%  FOREACH serp;
    "INSERT INTO serp VALUES('" _ query _ "', '";
    link _ "', '";
    snippet.replace("\n", '\n') _ "', '";
    summary.replace("\n", '\n') _ "')\n";
END %]

Esempio di risultato:

INSERT INTO serp VALUES('test', 'http://www.youtube.com/v/lcYzh7IjJj0', '', '00:25 Enigma con le tavole\nDomanda: quante tavole ci sono qui?\nRisposta: nessuna, poiché alle tavole sono state disegnate linee extra e una tavola passa gradualmente nell'altra\n01:10 Enigma con le zampe dell'elefante\nDomanda: quante zampe ha l'elefante?\nRisposta: l'elefante ha una zampa, situata dietro, e tutte le altre zampe non sono reali\n02:00 Enigma con la donna alla finestra\nDomanda: cosa differenzia queste due immagini?\nRisposta: nell'angolo in basso a destra c'è un buco di topo')
INSERT INTO serp VALUES('test', 'http://www.youtube.com/watch?v=VD2h2YUY_WQ', '', '00:01 Introduzione\nIl video parla del sito online test pad, dove è possibile creare test, sondaggi, cruciverba e giochi di logica.\nPer iniziare è necessario registrarsi tramite email.\n00:35 Creazione del test\nDopo la registrazione è possibile creare i propri test, sondaggi, cruciverba e giochi di logica.\nIl video mostra la creazione di un test da zero.\n01:06 Varianti delle domande\nIl video mostra come creare diverse varianti di domande: scelta singola, inserimento testo, completamento spazi vuoti e altro.\nVengono mostrati esempi di domande e risposte per ogni variante.')
INSERT INTO serp VALUES('test', 'http://www.youtube.com/watch?v=P5rlifhgewY', '', '00:00 Introduzione\nIl video è un test del QI composto da cinque domande che aiuteranno a determinare il livello di intelligenza.\n04:00 Risultati del test\nSe vengono scelte le prime opzioni di risposta, il livello di felicità è alto e l'intelligenza è media.\nSe vengono scelte le seconde opzioni di risposta, il livello di intelligenza è alto e il livello di felicità è medio.\nSe vengono scelte diverse opzioni di risposta, il livello di intelligenza e felicità si trova nel mezzo.\n07:08 Conclusione\nIl video invita a condividere i risultati del test con gli amici e a iscriversi al canale.\nSe raggiungeranno 50 mila like, prepareranno un altro test.')
INSERT INTO serp VALUES('test', 'https://zen.yandex.ru/video/watch/625ed4e3099b9b7b81b17e3b?f=video', '"Brain <b>Test</b>" ► Soluzione BUONA VISIONE A TUTTI :) Link: Musica nel Video: https://www.youtube.com/watch?v=5qap5aO4i9A Discord Server ► https://discord.gg/4JWEu9URwB YouTube ►...', '')
INSERT INTO serp VALUES('test', 'http://rutube.ru/video/016773a106036e9d3cd619ace97011e0/', 'Ho superato il gioco Brain <b>Test</b> 2. Condivido le risposte per tutti i livelli. Soluzione del gioco Brain <b>Test</b> 2 tutte le parti: Dimagriamo con Nastya, Fuga dalla prigione, Agente James Bond, La famiglia Saputelli, Cacciatore di mostri, Vanya...', '')
INSERT INTO serp VALUES('test', 'http://rutube.ru/video/e54b2392b7dd3fe57fed6002aba5f833/', 'https://www.youtube.com/channel/UCgpWRYOfFZ0whXZ8F26KbUg Canale YouTube https://t.me/DimaDaimont canale Telegram https://www.donationalerts.com/r/dimadaimont2 aiutare con lo sviluppo...', '')

Dump dei risultati in JSON

Formato comune del risultato:

[% IF notFirst;
  ",\n";
ELSE;
  notFirst = 1;
END;

obj = {};
obj.query = query;
obj.videos = [];

FOREACH item IN p1.serp;
    obj.videos.push({
        link = item.link
        anchor = item.anchor
        snippet = item.snippet
        service = item.service
        embed = item.embed
    });
END;

obj.json %]

Testo iniziale:

Testo finale:

Esempio di risultato:

[{
  "videos": [
    {
      "embed": "<iframe src=\"//www.youtube.com/embed/lcYzh7IjJj0?enablejsapi=1&amp;wmode=opaque\" frameborder=\"0\" scrolling=\"no\" allowfullscreen=\"1\" allow=\"autoplay; fullscreen; accelerometer; gyroscope; picture-in-picture\" aria-label=\"Video\"></iframe>",
      "link": "http://www.youtube.com/v/lcYzh7IjJj0",
      "snippet": "",
      "anchor": "<b>Test</b> per l'IQ con l'aiuto di 10 foto",
      "service": "YouTube"
    },
    {
      "embed": "<iframe src=\"//www.youtube.com/embed/VD2h2YUY_WQ?enablejsapi=1&amp;wmode=opaque\" frameborder=\"0\" scrolling=\"no\" allowfullscreen=\"1\" allow=\"autoplay; fullscreen; accelerometer; gyroscope; picture-in-picture\" aria-label=\"Video\"></iframe>",
      "link": "http://www.youtube.com/watch?v=VD2h2YUY_WQ",
      "snippet": "",
      "anchor": "Online <b>Test</b> Pad -come creare da soli un <b>test</b>",
      "service": "YouTube"
    },
    {
      "embed": "<iframe src=\"//www.youtube.com/embed/UPOUE8ObCy8?enablejsapi=1&amp;wmode=opaque\" frameborder=\"0\" scrolling=\"no\" allowfullscreen=\"1\" allow=\"autoplay; fullscreen; accelerometer; gyroscope; picture-in-picture\" aria-label=\"Video\"></iframe>",
      "link": "http://www.youtube.com/watch?v=UPOUE8ObCy8",
      "snippet": "",
      "anchor": "Semplice educativo <b>test</b>.  Online <b>Test</b> Pad",
      "service": "YouTube"
    },
    {
      "embed": "<iframe src=\"//www.youtube.com/embed/Ha9Q1kHqCHA?enablejsapi=1&amp;wmode=opaque\" frameborder=\"0\" scrolling=\"no\" allowfullscreen=\"1\" allow=\"autoplay; fullscreen; accelerometer; gyroscope; picture-in-picture\" aria-label=\"Video\"></iframe>",
      "link": "http://www.youtube.com/watch?v=Ha9Q1kHqCHA",
      "snippet": "",
      "anchor": "Creiamo <b>test</b> con Online <b>Test</b> Pad #2",
      "service": "YouTube"
    }
  ],
  "query": "test"
}]

suggerimento

Per rendere disponibili le opzioni "Prepend text" e "Append text" nel Editor attività, è necessario attivare "More options".

Impostazioni possibili

nota

Impostazioni comuni per tutti gli scraper

Parametro	Valore predefinito	Descrizione
Pages count	`5`	Numero di pagine da sottoporre a scraping
New videos	`☐`	Video recenti
Short videos	`☐`	Video brevi

Panoramica dello scraper​

Dati raccolti​

Funzionalità​

Casi d'uso​

Query​

Sostituzioni nelle query​

Varianti di output dei risultati​

Output predefinito​

Output in tabella CSV​

Salvataggio in formato SQL​

Dump dei risultati in JSON​

Impostazioni possibili​

Panoramica dello scraper

Dati raccolti

Funzionalità

Casi d'uso

Query

Sostituzioni nelle query

Varianti di output dei risultati

Output predefinito

Output in tabella CSV

Salvataggio in formato SQL

Dump dei risultati in JSON

Impostazioni possibili