Passer au contenu principal

SE::YouTube - scraper YouTube complet

YouTube

Présentation du scraper​

Scraper de résultats de recherche YouTube. Grâce au scraper YouTube, vous pourrez obtenir de grandes bases de liens vers des vidéos, prêtes pour une utilisation ultérieure. Vous pouvez utiliser des requêtes sous la même forme que celle que vous saisissez dans la barre de recherche YouTube. En utilisant le scraper youtube, il est possible de collecter les données principales d'une vidéo en mode multithread. Et pour obtenir des données complètes sur chaque vidéo, vous pouvez utiliser SE::YouTube::VideoSE::YouTube::Video

La fonctionnalité d'A-Parser permet de sauvegarder les paramètres de collecte de données du scraper YouTube pour une utilisation ultérieure (présélections), de définir un calendrier de collecte et bien plus encore. Vous pouvez utiliser la multiplication automatique des requêtes, la substitution de sous-requêtes à partir de fichiers, l'itération de combinaisons alphanumériques et de listes pour obtenir le maximum de résultats possible.

La sauvegarde des résultats est possible dans la forme et la structure dont vous avez besoin, grâce au puissant moteur de gabarits intégré Template Toolkit qui permet d'appliquer une logique supplémentaire aux résultats et d'exporter les données dans divers formats, y compris JSON, SQL et CSV.

Données collectées​

Les données sont collectées à partir du service http://www.youtube.com/.

  • Résultats principaux
    • Lien vers la vidéo
    • Titre de la vidéo (title)
    • Description de la vidéo
    • Nom d'utilisateur
    • Lien vers l'image d'aperçu
    • Nombre de vues
    • Durée de la vidéo
    • Date d'ajout de la vidéo
    • Nombre d'abonnés de la chaîne
    • Résumé par IA (summary), si disponible
Données collectées
  • Tableau des "Requêtes similaires"
    • Mot-clé
    • Lien vers l'aperçu

Fonctionnalités​

  • Nombre maximum de pages à scraper sur Youtube - 50 pages
  • Choix du pays à partir duquel la recherche est effectuée
  • Recherche par date d'ajout
  • Choix du type de résultat (vidéos, chaînes, playlists)
  • Choix de la durée de la vidéo
  • Paramétrage avancé des paramètres de recherche (sous-titres, 3D, HD, direct, licence Creative Commons)
  • Sort (Tri) par pertinence, date d'ajout, note, nombre de vues
  • Scrape en plus le lien vers l'aperçu de la vidéo
  • Possibilité de choisir la langue de l'interface
  • Possibilité d'activer le mode sécurisé de recherche

Cas d'utilisation​

  • Recherche, collecte et analyse d'informations sur Youtube

Requêtes​

Comme requêtes, il est nécessaire d'indiquer des phrases de recherche, par exemple :

Football   
Chutes du Niagara   
Speak in english  
Cats and dogs  
Voitures

Substitutions de requêtes​

Vous pouvez utiliser les macros intégrées pour multiplier les requêtes, par exemple si nous voulons obtenir une très grande base de forums, indiquons quelques requêtes de base dans différentes langues :

forum
forum
foro

Dans le format des requêtes, indiquons une itération de caractères de a à zzzz, cette méthode permet de faire pivoter au maximum les résultats de recherche et d'obtenir de nombreux nouveaux résultats uniques :

$query {az:a:zzzz}

Cette macro créera 475254 requêtes supplémentaires pour chaque requête de recherche initiale, ce qui donnera au total 4 x 475254 = 1901016 requêtes de recherche, un chiffre impressionnant, mais ce n'est pas du tout un problème pour A-Parser. À une vitesse de 2000 requêtes par minute, une telle tâche sera traitée en seulement 16 heures.

Variantes d'affichage des résultats​

A-Parser prend en charge un formatage flexible des résultats grâce au moteur de gabarits intégré Template Toolkit, ce qui lui permet d'afficher les résultats sous une forme libre, ainsi que structurée, par exemple CSV ou JSON

Export d'une liste de liens​

Identique à SE::Google.

Format du résultat :

[% FOREACH item IN p1.serp;    loop.count _ ' - ' _ item.link _ ' - ' _ item.title _ ' - ' _ item.desc _ "\n"; END %]

Exemple de résultat :

1 - https://www.youtube.com/watch?v=dm_T7H6J2U8 - À QUEL POINT ÊTES-VOUS INTELLIGENT ? Un test simple que beaucoup d'adultes ne réussiront pas - Dans cette vidéo, vous pourrez vérifier à quel point vous êtes intelligent. Un <b>test</b>, vous attend, composé de questions scolaires simples ...
2 - https://www.youtube.com/watch?v=iDAYNEV9Kxg - Test japonais unique sur le vieillissement du cerveau ! Vérifiez-vous absolument ! - Un <b>test</b> japonais unique sur le vieillissement du cerveau ! Vérifiez-vous absolument ! Ce <b>test</b> a été développé au Japon. Comment ...
3 - https://www.youtube.com/watch?v=0PEy2_sSy6A - Ce test simple révélera votre peur la plus secrète - Notre subconscient est un endroit assez sombre, pour sa compréhension de longues années de psychanalyse sont nécessaires. Et ce ...
4 - https://www.youtube.com/watch?v=j6K9nIugzAY - India vs England 2nd Test Day 4 Highlights 2021| Royal Sports Tv - India vs England 2nd <b>Test</b> Day 4 Highlights 2021 India vs England 2nd <b>Test</b> Day 4 Highlights 2021 | ind vs eng <b>test</b> series India vs ...
5 - https://www.youtube.com/watch?v=ALDqwSMVYKQ - TEST PSYCHOLOGIQUE/ 929 SECONDES DE RIRE/LES MEILLEURES BLAGUES DE FÉVRIER 2021 RIRE/ESSAYEZ DE NE PAS RIRE ! BEST COUB - Chaîne Telegram : https://t.me/CrazyHumor129k SUR LA CHAÎNE VOUS TROUVEREZ 929 SECONDES DE RIRE EXCELLENT AVEC LES MEILLEURS ...
6 - https://www.youtube.com/watch?v=6X1puBtvc_s - Série Test de grossesse épisode 1 - série russe 2015 HD - Première de la série - <b>Test</b> de grossesse épisode 1 - série russe 2015 Après le décès d'une patiente, la gynécologue Natalia ...
7 - https://www.youtube.com/watch?v=hXuhVD7Dwp0 - Test ! Des illusions d'optique qui vous révèleront une vérité inattendue sur vous ! - <b>Test</b>! ! Des illusions d'optique qui vous révèleront une vérité inattendue sur vous ! Il existe de nombreux types différents ...
8 - https://www.youtube.com/watch?v=BYA8lY4o33A - Test ! QUEL ANIMAL EST VOTRE TALISMAN ? Quel prédateur se cache dans votre âme ? Test de caractère précis - <b>Test</b>! ! QUEL ANIMAL DIVIN ÊTES-VOUS ? Quel prédateur se cache dans votre âme ? <b>test</b> de caractère précis Pour cela ...
9 - https://www.youtube.com/watch?v=V-kqty2vAm4 - Test ! QUELQU'UN EST SECRÈTEMENT AMOUREUX DE TOI ! DÉCOUVRE QUI ! - <b>Test</b>! ! QUELQU'UN EST SECRÈTEMENT AMOUREUX DE TOI ! DÉCOUVRE QUI ! Vous vous sentez souvent seul et rêvez de trouver le vrai ...
10 - https://www.youtube.com/watch?v=9HtbSe_oJto - Passe ce test et vérifie ton attention - Dans cette vidéo, nous allons vérifier à quel point ton attention est développée. Différents types de tâches avec plusieurs niveaux t'attendent ...
...

L'outil intégré tools.CSVLine permet de créer des documents tabulaires corrects, prêts pour l'importation dans Excel ou Google Sheets.

Format général du résultat :

[%  FOREACH i IN p1.serp;    tools.CSVline(i.link, i.title, i.desc); END  %]

Nom du fichier :

$datefile.format().csv

Texte initial :

Lien,Ancre,Snippet

astuce

Dans le Format général des résultats, le moteur de gabarits Template Toolkit est utilisé pour afficher le tableau $serp dans une boucle FOREACH.

Dans le nom du fichier de résultats, il suffit de changer l'extension du fichier en csv.

Pour que l'option "Texte initial" soit disponible dans l'Éditeur de tâches, il faut activer "Plus d'options". Dans "Texte initial", nous inscrivons les noms des colonnes séparés par des virgules et nous laissons la deuxième ligne vide.

Concurrence des mots-clés​

Identique à SE::Google.

Sauvegarde au format SQL​

Format du résultat :

[%  FOREACH serp;   "INSERT INTO serp VALUES('" _ query _ "', '";   link _ "', '";  title _ "')\n"; END  %]

Exemple de résultat :

INSERT INTO serp VALUES('test', 'https://www.youtube.com/watch?v=dm_T7H6J2U8', 'À QUEL POINT ÊTES-VOUS INTELLIGENT ? Un test simple que beaucoup d'adultes ne réussiront pas')
INSERT INTO serp VALUES('test', 'https://www.youtube.com/watch?v=iDAYNEV9Kxg', 'Test japonais unique sur le vieillissement du cerveau ! Vérifiez-vous absolument !')
INSERT INTO serp VALUES('test', 'https://www.youtube.com/watch?v=0PEy2_sSy6A', 'Ce test simple révélera votre peur la plus secrète')
INSERT INTO serp VALUES('test', 'https://www.youtube.com/watch?v=BYA8lY4o33A', 'Test ! QUEL ANIMAL EST VOTRE TALISMAN ? Quel prédateur se cache dans votre âme ? Test de caractère précis')
INSERT INTO serp VALUES('test', 'https://www.youtube.com/watch?v=5Se6w0lOkyY', 'Nouveau Renault Duster. Test-drive. Anton Avtoman.')
INSERT INTO serp VALUES('test', 'https://www.youtube.com/watch?v=Ko8cFdoOV6U', 'Test ! QUEL GENRE DE FILLE ES-TU ? Es-tu plutôt LADY ou GARÇON MANQUÉ ?')
INSERT INTO serp VALUES('test', 'https://www.youtube.com/watch?v=j6K9nIugzAY', 'India vs England 2nd Test Day 4 Highlights 2021| Royal Sports Tv')
INSERT INTO serp VALUES('test', 'https://www.youtube.com/watch?v=9HtbSe_oJto', 'Passe ce test et vérifie ton attention')
INSERT INTO serp VALUES('test', 'https://www.youtube.com/watch?v=V-kqty2vAm4', 'Test ! QUELQU'UN EST SECRÈTEMENT AMOUREUX DE TOI ! DÉCOUVRE QUI !')
...

Dump des résultats en JSON​

Identique à SE::Google.

Traitement des résultats​

A-Parser permet de traiter les résultats directement pendant la collecte de données, dans cette section nous avons listé les cas les plus populaires pour le scraper YouTube

Identique à SE::Google.

Identique à SE::Google.

Extraction de domaines​

Identique à SE::Google.

Suppression des balises des titres de vidéos et des descriptions​

Ajouter un Results Builder (Constructeur de résultats) et dans la liste déroulante choisir la source : $p1.serp.$i.title - Title. Choisir le type : Remove HTML tags.

Ajouter à nouveau un Results Builder (Constructeur de résultats) et dans la liste déroulante choisir la source : $p1.serp.$i.desc - Description. Choisir le type : Remove HTML tags.

Télécharger l'exemple

Comment importer l'exemple dans A-Parser

eJyVVMtu2zAQ/BWBMJAGUI3k0ItujlsjLZw4tZ1D4fjASCuBDUWyJOXGEPTv3aVo
y07TQ2/kPmb2MWTLPHcv7sGCA+9YtmmZCWeWsdWXLPuhm3XzDMkSar2D5HZ9N088
r1xSWl0na+EluISrIvkMLrfCeKGVYykz3DqwBLg5xUFPASVvpGdpy/zeAPIgsLWi
IKco8G54BbluFMawHZcNxlx3/w4vta25x6ID6iGDjZDfjHvnh4uRp1KTj8mowEKf
ntTFJeu225T1eW4W4ijNXI/jBI7OFd/BWhOVkDCYZ3i753UgK7gH8h4IL8f+lRB4
UQiaCZc9A01kYH1U4lcoVmmMxaMV4GY4WTR5CABk3B+q27BRuDOEaELu9z6HZSWX
DlLmsNQZx0KKtx7hwXKv7SLuKGuZVhMp57ADOYQF/JtGyALXNykx6WtMfD9k8RdG
d2zvlAqX9ttiDUeUcLtZ3A1ZhZ7rCjsvnrFvKWrh8e6mQQkZu0LjC4A5zuyeZlZr
C0eaiBzZUdMGFClkWNnEDKazNs7WcmJsmdONzZFvc5VuGGkKU4OYGMknatKG53Hr
a0k7t5bv0XgIJuX0GaTi9/BIk/8FFxI6TMi1KkW1iE/i0Eaj1viqF2qqayOBhq4a
KVEzDpaDdicuaoQuw/TeJk8DRSCNLxdr0NJ9W/VzNFZgSZ/SWPUpa4TMuZSPy/mp
hw16D1p3BJvjI6o0ypvmHvSfsUrrKjw6eDX4zwAuz9sGui11H3+Z4+/Vnv01Wduh
qn66hz6KuqQYtOG4HEqG/pU/xum9JQ==
astuce

Le Constructeur de résultats peut être ajouté autant de fois que nécessaire.

Voir aussi : Constructeur de résultats

Identique à SE::Google.

Paramètres possibles​

note

Paramètres communs pour tous les scrapers

Nom du paramètreValeur par défautDescription
DeviceDesktopChoix du type de résultats (Desktop/Mobile)
Pages count10Nombre de pages à scraper (de 1 à 50)
Search from countryAuto (Based on IP)Choix du pays à partir duquel la recherche est effectuée
Interface languageEnglishChoix de la langue de l'interface
Restricted mode☐Activer/désactiver le "Mode sécurisé" de recherche
Uploaded timeAll timeRecherche par date d'ajout
Result typeVideoChoix du type de résultat
DurationAllChoix de la durée de la vidéo
FeaturesAllParamétrage avancé des paramètres de recherche
Sort byRelevancyTri des résultats
Advanced filters (param sp=)Permet de spécifier des combinaisons complexes de filtres. Pour cela, il faut prendre la valeur du paramètre sp dans l'URL du navigateur et l'insérer dans ce champ. Cette valeur est prioritaire sur les filtres définis dans les paramètres du scraper.