Passer au contenu principal

SE::Yandex::Video - scraper Yandex Vidéo

Yandex Images

Présentation du scraper​

Scraper de recherche vidéo Yandex. Grâce au scraper SE::Yandex::Video, vous pourrez obtenir des bases de liens vers des vidéos. Vous pouvez utiliser les requêtes sous la même forme que celle que vous saisissez dans la barre de recherche Yandex.

La fonctionnalité d'A-Parser permet de sauvegarder les paramètres de collecte de données du scraper Yandex pour une utilisation ultérieure (présélections), de définir un calendrier de collecte et bien plus encore. Vous pouvez utiliser la multiplication automatique des requêtes, la substitution de sous-requêtes à partir de fichiers, l'itération de combinaisons alphanumériques et de listes pour obtenir le maximum de résultats possible.

La sauvegarde des résultats est possible sous la forme et la structure dont vous avez besoin, grâce au puissant moteur de gabarits intégré Template Toolkit qui permet d'appliquer une logique supplémentaire aux résultats et d'afficher les données dans divers formats, y compris JSON, SQL et CSV.

Données collectées​

  • Liens vers les vidéos
  • Ancres
  • Snippets
  • Nom du service hébergeant la vidéo
  • Durée, nombre de vues et date de publication
  • Liens vers l'affiche et l'aperçu vidéo
  • Résumé de la vidéo
  • Liste des sections dans la vidéo
  • Code d'intégration pour les sites web
Données collectées

Fonctionnalités​

  • Support des filtres (courtes, récentes)
  • Choix du nombre de pages de résultats
  • Support des sessions

Cas d'utilisation​

  • Collecte de vidéos pour alimenter vos blogs, tubes, doorways...
  • Collecte de données textuelles

Requêtes​

Il est nécessaire d'indiquer des phrases de recherche comme requêtes, par exemple :

Cats
Football  
Waterfall  
Speak in english   
cars

Substitutions de requêtes​

Vous pouvez utiliser les macros intégrées pour multiplier les requêtes, par exemple si nous voulons obtenir une très grande base de forums, indiquons quelques requêtes de base dans différentes langues :

forum
forum
foro
论坛

Dans le format de requête, indiquons une itération de caractères de a à zzzz, cette méthode permet de faire pivoter au maximum les résultats de recherche et d'obtenir de nombreux nouveaux résultats uniques :

$query {az:a:zzzz}

Cette macro créera 475254 requêtes supplémentaires pour chaque requête de recherche initiale, ce qui donnera au total 4 x 475254 = 1901016 requêtes de recherche, un chiffre impressionnant, mais ce n'est pas du tout un problème pour A-Parser. À une vitesse de 2000 requêtes par minute, une telle tâche sera traitée en seulement 16 heures.

Variantes d'affichage des résultats​

A-Parser supporte un formatage flexible des résultats grâce au moteur de gabarits intégré Template Toolkit, ce qui lui permet d'afficher les résultats sous une forme libre, ainsi que structurée, par exemple CSV ou JSON.

Affichage par défaut​

Format du résultat :

$serp.format('$link\n')

Exemple de résultat :

http://www.youtube.com/v/lcYzh7IjJj0
http://www.youtube.com/watch?v=VD2h2YUY_WQ
http://www.youtube.com/watch?v=UPOUE8ObCy8
http://www.youtube.com/watch?v=Ha9Q1kHqCHA
http://www.youtube.com/watch?v=P5rlifhgewY
https://zen.yandex.ru/video/watch/61099fa859eaef364db8b3cd?f=video
http://www.youtube.com/v/-cvEA8897Fc?fs=0
https://zen.yandex.ru/video/watch/625ed4e3099b9b7b81b17e3b?f=video
http://rutube.ru/video/016773a106036e9d3cd619ace97011e0/
http://rutube.ru/video/e54b2392b7dd3fe57fed6002aba5f833/
http://rutube.ru/video/8fe868740089c3557d6d54e86ceca6a1/
http://www.youtube.com/v/OuOK2fEPdMU
http://www.youtube.com/watch?v=UcbmVFYp4Lg
http://www.youtube.com/watch?v=JgJE4oQf-Gs
http://www.youtube.com/watch?v=ektN1-ptnDE

Affichage dans un tableau CSV​

Format du résultat :

[% FOREACH item IN serp;
    tools.CSVline(query, item.link, item.anchor, item.prevPoster, item.duration, item.views);
END %]

Exemple de résultat :

test,http://www.youtube.com/v/lcYzh7IjJj0,"<b>Test</b> de QI à l'aide de 10 photos",https://avatars.mds.yandex.net/get-vthumb/4322300/5f649751351f727400bfd1be494fd6b4/564x318_1,07:09,"2,5 mln de vues"
test,http://www.youtube.com/watch?v=VD2h2YUY_WQ,"Online <b>Test</b> Pad -comment créer soi-même un <b>test</b>",https://avatars.mds.yandex.net/get-vthumb/1023253/fffa43fb9402c436d6881537bb9aee9a/564x318_1,05:38,"16,6 mille vues"
test,http://www.youtube.com/watch?v=UPOUE8ObCy8,"Simple <b>test</b>.  Online <b>Test</b> Pad",https://avatars.mds.yandex.net/get-vthumb/3435353/fa94c2b60d9bb0fa8cda2d469b6dcf0a/564x318_1,04:16,"76,5 mille vues"
test,http://www.youtube.com/watch?v=Ha9Q1kHqCHA,"Nous créons des <b>tests</b> avec Online <b>Test</b> Pad #2",https://avatars.mds.yandex.net/get-vthumb/2032788/4ffd2b149fbfc3de17b67ef92290028e/564x318_1,07:00,"1704 vues"
test,http://www.youtube.com/watch?v=P5rlifhgewY,"Ce <b>test</b> de QI en 5 questions montrera votre niveau d'intelligence",https://avatars.mds.yandex.net/get-vthumb/4507451/f3475d744f7841b40912dd933dce65c1/564x318_1,08:01,"606 mille vues"
test,https://zen.yandex.ru/video/watch/61099fa859eaef364db8b3cd?f=video,"Spotlight 4 classe. <b>test</b>.  Exit <b>test</b>",https://avatars.mds.yandex.net/get-vthumb/3304426/beaeeaba5bfc6c00bcae50c4fa7cf236/564x318_1,09:39,
test,http://www.youtube.com/v/-cvEA8897Fc?fs=0,"English grammar <b>test</b>",https://avatars.mds.yandex.net/get-vthumb/2428342/b5b8a32f0260ce4ac785b6a4f1a8b006/564x318_1,12:35,"597 mille vues"
test,https://zen.yandex.ru/video/watch/625ed4e3099b9b7b81b17e3b?f=video,"CES réponses, seuls quelques-uns les connaissent ""Brain <b>Test</b>"" #1",https://avatars.mds.yandex.net/get-vh/5811343/2a00000180429688a113593b8944b066f53d/564x318_1,17:07,
test,http://rutube.ru/video/016773a106036e9d3cd619ace97011e0/,"Comment passer le jeu Brain <b>Test</b> 2?  Réponses pour tous les niveaux",https://avatars.mds.yandex.net/get-vthumb/4407993/aa07260f286afde40d15abad02f816af/564x318_1,1:29:03,
test,http://rutube.ru/video/e54b2392b7dd3fe57fed6002aba5f833/,"Brain <b>Test</b> Passage complet № 4 Plongeons dans le monde des puzzles",https://avatars.mds.yandex.net/get-vthumb/467972/c078458de66e698c5680527352261b9d/564x318_1,26:23,
test,http://rutube.ru/video/8fe868740089c3557d6d54e86ceca6a1/,"SpeedTest - Test de vitesse de connexion internet",https://avatars.mds.yandex.net/get-vthumb/3446066/7cca0b8914479dcfe294b06246ea6df8/564x318_1,05:16,"223 mille vues au total"

Sauvegarde au format SQL​

Format du résultat :

[%  FOREACH serp;
    "INSERT INTO serp VALUES('" _ query _ "', '";
    link _ "', '";
    snippet.replace("\n", '\n') _ "', '";
    summary.replace("\n", '\n') _ "')\n";
END %]

Exemple de résultat :

INSERT INTO serp VALUES('test', 'http://www.youtube.com/v/lcYzh7IjJj0', '', '00:25 Énigme avec des planches\nQuestion : combien y a-t-il de planches ici ?\nRéponse : aucune, car des lignes superflues sont dessinées sur les planches et une planche passe doucement à une autre\n01:10 Énigme avec les pattes d'un éléphant\nQuestion : combien de pattes a l'éléphant ?\nRéponse : l'éléphant a une patte, située à l'arrière, et toutes les autres pattes ne sont pas réelles\n02:00 Énigme avec une femme à la fenêtre\nQuestion : quelle est la différence entre ces deux images ?\nRéponse : dans le coin inférieur droit, il y a un trou de souris')
INSERT INTO serp VALUES('test', 'http://www.youtube.com/watch?v=VD2h2YUY_WQ', '', '00:01 Introduction\nLa vidéo parle du site online test pad, où l'on peut créer des tests, des sondages, des mots croisés et des jeux de logique.\nPour commencer, il faut s'inscrire avec un e-mail.\n00:35 Création d'un test\nAprès l'inscription, on peut créer ses propres tests, sondages, mots croisés et jeux de logique.\nLa vidéo montre la création d'un test à partir de zéro.\n01:06 Variantes de questions\nLa vidéo montre comment créer différentes variantes de questions : choix unique, saisie de texte, remplissage de blancs et autres.\nDes exemples de questions et de réponses pour chaque variante sont présentés.')
INSERT INTO serp VALUES('test', 'http://www.youtube.com/watch?v=P5rlifhgewY', '', '00:00 Introduction\nLa vidéo présente un test de QI composé de cinq questions qui aidera à déterminer le niveau d'intelligence.\n04:00 Résultats du test\nSi les premières options de réponse sont choisies, alors le niveau de bonheur est élevé et l'intelligence est moyenne.\nSi les deuxièmes options de réponse sont choisies, alors le niveau d'intelligence est élevé et le niveau de bonheur est moyen.\nSi différentes options de réponse sont choisies, alors le niveau d'intelligence et de bonheur se situe au juste milieu.\n07:08 Conclusion\nLa vidéo invite à partager les résultats du test avec des amis et à s'abonner à la chaîne.\nS'ils obtiennent 50 000 likes, ils prépareront un autre test.')
INSERT INTO serp VALUES('test', 'https://zen.yandex.ru/video/watch/625ed4e3099b9b7b81b17e3b?f=video', '"Brain <b>Test</b>" ► Passage BON Visionnage à TOUS :) Liens : Musique dans la Vidéo : https://www.youtube.com/watch?v=5qap5aO4i9A Discord Serveur ► https://discord.gg/4JWEu9URwB YouTube ►...', '')
INSERT INTO serp VALUES('test', 'http://rutube.ru/video/016773a106036e9d3cd619ace97011e0/', 'J'ai passé le jeu Brain <b>Test</b> 2. Je partage les réponses pour tous les niveaux. Passage du jeu Brain <b>Test</b> 2 toutes les parties : Perdre du poids avec Nastya, Évasion de prison, Agent James Blond, La famille Savantout, Chasseur de monstres, Vanya...', '')
INSERT INTO serp VALUES('test', 'http://rutube.ru/video/e54b2392b7dd3fe57fed6002aba5f833/', 'https://www.youtube.com/channel/UCgpWRYOfFZ0whXZ8F26KbUg Chaîne YouTube https://t.me/DimaDaimont chaîne Telegram https://www.donationalerts.com/r/dimadaimont2 aider au développement...', '')

Dump des résultats en JSON​

Format de sortie general:

[% IF notFirst;
  ",\n";
ELSE;
  notFirst = 1;
END;

obj = {};
obj.query = query;
obj.videos = [];

FOREACH item IN p1.serp;
    obj.videos.push({
        link = item.link
        anchor = item.anchor
        snippet = item.snippet
        service = item.service
        embed = item.embed
    });
END;

obj.json %]

Texte initial:

[

Texte final:

]

Exemple de résultat :

[{
  "videos": [
    {
      "embed": "<iframe src=\"//www.youtube.com/embed/lcYzh7IjJj0?enablejsapi=1&amp;wmode=opaque\" frameborder=\"0\" scrolling=\"no\" allowfullscreen=\"1\" allow=\"autoplay; fullscreen; accelerometer; gyroscope; picture-in-picture\" aria-label=\"Video\"></iframe>",
      "link": "http://www.youtube.com/v/lcYzh7IjJj0",
      "snippet": "",
      "anchor": "<b>Test</b> de QI à l'aide de 10 photos",
      "service": "YouTube"
    },
    {
      "embed": "<iframe src=\"//www.youtube.com/embed/VD2h2YUY_WQ?enablejsapi=1&amp;wmode=opaque\" frameborder=\"0\" scrolling=\"no\" allowfullscreen=\"1\" allow=\"autoplay; fullscreen; accelerometer; gyroscope; picture-in-picture\" aria-label=\"Video\"></iframe>",
      "link": "http://www.youtube.com/watch?v=VD2h2YUY_WQ",
      "snippet": "",
      "anchor": "Online <b>Test</b> Pad -comment créer soi-même un <b>test</b>",
      "service": "YouTube"
    },
    {
      "embed": "<iframe src=\"//www.youtube.com/embed/UPOUE8ObCy8?enablejsapi=1&amp;wmode=opaque\" frameborder=\"0\" scrolling=\"no\" allowfullscreen=\"1\" allow=\"autoplay; fullscreen; accelerometer; gyroscope; picture-in-picture\" aria-label=\"Video\"></iframe>",
      "link": "http://www.youtube.com/watch?v=UPOUE8ObCy8",
      "snippet": "",
      "anchor": "Simple <b>test</b>.  Online <b>Test</b> Pad",
      "service": "YouTube"
    },
    {
      "embed": "<iframe src=\"//www.youtube.com/embed/Ha9Q1kHqCHA?enablejsapi=1&amp;wmode=opaque\" frameborder=\"0\" scrolling=\"no\" allowfullscreen=\"1\" allow=\"autoplay; fullscreen; accelerometer; gyroscope; picture-in-picture\" aria-label=\"Video\"></iframe>",
      "link": "http://www.youtube.com/watch?v=Ha9Q1kHqCHA",
      "snippet": "",
      "anchor": "Nous créons des <b>tests</b> avec Online <b>Test</b> Pad #2",
      "service": "YouTube"
    }
  ],
  "query": "test"
}]
astuce

Pour que les options "Texte initial" et "Texte final" soient disponibles dans l'Éditeur de tâches, vous devez activer "Plus d'options".

Paramètres possibles​

note

Paramètres communs pour tous les scrapers

ParamètreValeur par défautDescription
Pages count5Nombre de pages à scraper
New videos☐Vidéos récentes
Short videos☐Vidéos courtes