SE::Bing::Video - scraper Bing Vidéo
Présentation du scraper
Scraper de recherche de vidéos Bing. Grâce au scraper 
SE::Bing::Video, vous pourrez obtenir des bases de liens vers des vidéos. Vous pouvez utiliser les requêtes sous la même forme que celle que vous saisissez dans la barre de recherche Bing
Les fonctionnalités d'A-Parser permettent de sauvegarder les paramètres de collecte de données du scraper SE::Bing::Video pour une utilisation ultérieure (présélections), de définir un calendrier de collecte de données et bien plus encore. Vous pouvez utiliser la multiplication automatique de requêtes, la substitution de sous-requêtes à partir de fichiers, l'itération de combinaisons alphanumériques et de listes pour obtenir le plus grand nombre de résultats possible.
L'enregistrement des résultats est possible dans la forme et la structure dont vous avez besoin, grâce au puissant moteur de gabarits intégré Template Toolkit qui permet d'appliquer une logique supplémentaire aux résultats et d'afficher les données dans divers formats, notamment JSON, SQL et CSV.
Données collectées
- Liens vers les vidéos
- Titre
- Nom du service sur lequel se trouve la vidéo
- Durée, nombre de vues et date de publication
- Liens vers les aperçus vidéo (thumbnails)
Fonctionnalités
- Choix du nombre de pages de résultats
- Choix de la localisation
Cas d'utilisation
- Collecte de vidéos pour alimenter vos blogs, tubes, doorways...
- Collecte de données textuelles
Requêtes
En tant que requêtes, il est nécessaire d'indiquer des phrases de recherche, par exemple :
Cats
Football
Waterfall
Speak in english
cars
Substitutions de requêtes
Vous pouvez utiliser les macros intégrées pour multiplier les requêtes, par exemple si nous voulons obtenir une très grande base de forums, indiquons quelques requêtes de base dans différentes langues :
forum
forum
foro
论坛
Dans le format des requêtes, indiquons une itération de caractères de a à zzzz, cette méthode permet de faire pivoter au maximum les résultats de recherche et d'obtenir de nombreux nouveaux résultats uniques :
$query {az:a:zzzz}
Cette macro créera 475254 requêtes supplémentaires pour chaque requête de recherche initiale, ce qui donnera au total 4 x 475254 = 1901016 requêtes de recherche, un chiffre impressionnant, mais ce n'est pas du tout un problème pour A-Parser. À une vitesse de 2000 requêtes par minute, une telle tâche sera traitée en seulement 16 heures.
Variantes d'affichage des résultats
A-Parser prend en charge un formatage flexible des résultats grâce au moteur de gabarits intégré Template Toolkit, ce qui lui permet d'afficher les résultats sous une forme libre, ainsi que structurée, par exemple CSV ou JSON
Sortie par défaut
Format du résultat :
$serp.format('$link\n')
Exemple de résultat :
https://www.bing.com/videos/riverview/relatedvideo?&q=sport&&mid=79AF507BCEEA455ACC1679AF507BCEEA455ACC16&&FORM=VRDGAR
https://www.bing.com/videos/riverview/relatedvideo?&q=sport&&mid=86FB4CDD27E041A3F95586FB4CDD27E041A3F955&&FORM=VRDGAR
https://www.bing.com/videos/riverview/relatedvideo?&q=sport&&mid=3AD36B1FAFC111F9C6F03AD36B1FAFC111F9C6F0&&FORM=VRDGAR
https://www.msn.com/en-gb/sport/golf/benefits-of-winning-the-masters-golf/vi-AA1lNwOI
https://www.bing.com/videos/riverview/relatedvideo?&q=sport&&mid=D8EB9E5532894EACFB73D8EB9E5532894EACFB73&&FORM=VRDGAR
https://www.bing.com/videos/riverview/relatedvideo?&q=sport&&mid=9CB33DC7E23801445F3F9CB33DC7E23801445F3F&&FORM=VRDGAR
https://talksport.com/football/1685319/troy-deeney-forest-green-rovers-manager/
https://ca.sports.yahoo.com/news/best-30-mens-cricketers-britain-140144281.html
https://www.bing.com/videos/riverview/relatedvideo?&q=sport&&mid=B9593E6DF96A59F4D941B9593E6DF96A59F4D941&&FORM=VRDGAR
https://www.msn.com/en-gb/sport/golf/6-golf-tips-golf-monthly/vi-AA1lNrLU
https://sports.yahoo.com/best-30-mens-cricketers-britain-140144281.html
https://www.bing.com/videos/riverview/relatedvideo?&q=sport&&mid=086DF2129F5807EC02F1086DF2129F5807EC02F1&&FORM=VRDGAR
https://www.bing.com/videos/riverview/relatedvideo?&q=sport&&mid=14632A97F627B502518514632A97F627B5025185&&FORM=VRDGAR
Sortie dans un tableau CSV
Format du résultat :
[% FOREACH item IN serp;
tools.CSVline(query, item.link, item.name, item.preview, item.duration);
END %]
Exemple de résultat :
sport,https://www.bing.com/videos/riverview/relatedvideo?&q=sport&&mid=79AF507BCEEA455ACC1679AF507BCEEA455ACC16&&FORM=VRDGAR,"England's Mary Earps wins 2023 Sports Personality of th",w=309&h=173&c=7&rs=1&qlt=90&o=5&pid=2.1,3:35
sport,https://www.bing.com/videos/riverview/relatedvideo?&q=sport&&mid=86FB4CDD27E041A3F95586FB4CDD27E041A3F955&&FORM=VRDGAR,"1972 Chevy Super Sport Nova",w=309&h=173&c=7&rs=1&qlt=90&o=5&pid=2.1,0:51
sport,https://www.bing.com/videos/riverview/relatedvideo?&q=sport&&mid=3AD36B1FAFC111F9C6F03AD36B1FAFC111F9C6F0&&FORM=VRDGAR,"1968 Super Sport Chevelle",w=309&h=173&c=7&rs=1&qlt=90&o=5&pid=2.1,0:51
sport,https://www.bing.com/videos/riverview/relatedvideo?&q=sport&&mid=FBBB3E08963152230A54FBBB3E08963152230A54&&FORM=VRDGAR,"We had to have some hard conversations - Marsters",https://tse2.mm.bing.net/th?id=OVF.O3Nq%2bBQ%2bjnbhZnbfYxDA7w&w=309&h=173&c=7&rs=1&qlt=90&o=5&pid=2.1,7:51
sport,https://www.bing.com/videos/riverview/relatedvideo?&q=sport&&mid=086DF2129F5807EC02F1086DF2129F5807EC02F1&&FORM=VRDGAR,"Ja Morant Hits Buzzer-Beater, Seals Victory Post-Suspension",https://tse2.mm.bing.net/th?id=OVF.ON%2fSFfXw5e9WwzZEMbbEeQ&w=309&h=173&c=7&rs=1&qlt=90&o=5&pid=2.1,1:09
sport,https://www.bbc.co.uk/sport/football/67723705,"Ollie Watkins: Aston Villa striker explains controversia",https://tse3.mm.bing.net/th?id=OVF.Hc9LkZQ9XhYo%2bFbAtxpLGg&w=309&h=173&c=7&rs=1&qlt=90&o=5&pid=2.1,
sport,https://www.bbc.com/sport/articles/c2vyevn0g7zo,"Anthony Ogogo: 'Why I used to hide being a Norwich City fan'",https://tse3.mm.bing.net/th?id=OVF.kvcGexXDQxqqCSiNRXEkRg&w=309&h=173&c=7&rs=1&qlt=90&o=5&pid=2.1,1:15
sport,https://www.bing.com/videos/riverview/relatedvideo?&q=sport&&mid=9FDCCE66150310EB99CB9FDCCE66150310EB99CB&&FORM=VRDGAR,"Aaron Rodgers Eyes Future Beyond 40 Despite Achilles ",https://tse4.mm.bing.net/th?id=OVF.fMSU0FvKihMc8q2TjXg%2fkw&w=309&h=173&c=7&rs=1&qlt=90&o=5&pid=2.1,1:13
sport,https://www.bing.com/videos/riverview/relatedvideo?&q=sport&&mid=361720861BF1297ADE98361720861BF1297ADE98&&FORM=VRDGAR,"Dillon Brooks, Ime Udoka Penalized For Outbursts At R",https://tse1.mm.bing.net/th?id=OVF.3TNSq7yVIFY84%2fQsm5KyJQ&w=309&h=173&c=7&rs=1&qlt=90&o=5&pid=2.1,1:12
sport,https://www.bing.com/videos/riverview/relatedvideo?&q=sport&&mid=B9593E6DF96A59F4D941B9593E6DF96A59F4D941&&FORM=VRDGAR,"Manchester United, Arsenal and the battle for Mary Earps",https://tse3.mm.bing.net/th?id=OVF.bK8xXZhzmQ0PD8CbFvDaGg&w=309&h=173&c=7&rs=1&qlt=90&o=5&pid=2.1,1:18
sport,https://www.bing.com/videos/riverview/relatedvideo?&q=sport&&mid=14632A97F627B502518514632A97F627B5025185&&FORM=VRDGAR,"Miller desperate for debut",https://tse2.mm.bing.net/th?id=OVF.a8MhMzLvFmPQ5fqRbc3l0g&w=309&h=173&c=7&rs=1&qlt=90&o=5&pid=2.1,3:38
Enregistrement au format SQL
Format du résultat :
[% FOREACH serp; "INSERT INTO serp VALUES('" _ query _ "', '"; directLink _ "', '"; name.replace("\n", '\n') _ "', '"; author _ "')\n"; END %]
Exemple de résultat :
INSERT INTO serp VALUES('sport', 'https://www.youtube.com/watch?v=d5sxT8CACHM', 'England's Mary Earps wins 2023 Sports Personality of th', 'BBC Sport')
INSERT INTO serp VALUES('sport', 'https://sports.yahoo.com/best-30-mens-cricketers-britain-140144281.html', 'Best 30 men's cricketers in Britain right now', 'Tim Wigmore')
INSERT INTO serp VALUES('sport', 'https://www.msn.com/en-us/sports/more-sports/when-usain-bolt-and-andre-de-grasse-smile-the-whole-world-smiles-with-them-olympic-memories/vi-AA1lMZ2W', 'When Usain Bolt and Andre de Grasse smile, the whole worl', 'The Independent News')
INSERT INTO serp VALUES('sport', 'https://www.msn.com/en-us/sports/more-sports/1968-super-sport-chevelle/vi-AA1lMLLn', '1968 Super Sport Chevelle', 'FOX 13 Tampa Bay')
INSERT INTO serp VALUES('sport', 'https://www.msn.com/en-gb/sport/golf/benefits-of-winning-the-masters-golf/vi-AA1lNwOI', 'Benefits Of Winning The Masters Golf', 'Dailymotion')
INSERT INTO serp VALUES('sport', 'https://www.independent.co.uk/sport/darts/world-darts-championship-live-stream-scores-results-b2467256.html', 'PDC World Darts Championship LIVE: Results', 'Michael Jones')
INSERT INTO serp VALUES('sport', 'https://www.msn.com/en-us/sports/nfl/aaron-rodgers-eyes-future-beyond-40-despite-achilles-setback/vi-AA1lNg0R', 'Aaron Rodgers Eyes Future Beyond 40 Despite Achilles S', 'unbranded - Sport')
INSERT INTO serp VALUES('sport', 'https://www.msn.com/en-gb/sport/golf/6-golf-tips-golf-monthly/vi-AA1lNrLU', '6 Golf Tips | Golf Monthly', 'Dailymotion')
INSERT INTO serp VALUES('sport', 'https://www.msn.com/en-us/autos/news/1972-chevy-super-sport-nova/vi-AA1lN3Px', '1972 Chevy Super Sport Nova', 'FOX 13 Tampa Bay')
INSERT INTO serp VALUES('sport', 'https://www.youtube.com/watch?v=1DtqwboJVFc', 'Desi Cricket Pakistan Final Match Bhutto Club Vs GB Cal', 'Desi Sport GB')
INSERT INTO serp VALUES('sport', 'https://ca.sports.yahoo.com/news/best-30-mens-cricketers-britain-140144281.html', 'Best 30 men's cricketers in Britain right now', 'Tim Wigmore')
INSERT INTO serp VALUES('sport', 'https://www.independent.co.uk/sport/football/mary-earps-manchester-united-arsenal-spoty-b2467111.html', 'Manchester United, Arsenal and the battle for Mary Earps', 'Ben Fleming')
Dump des résultats en JSON
Format de sortie general:
[% IF notFirst;
",\n";
ELSE;
notFirst = 1;
END;
obj = {};
obj.query = query;
obj.videos = [];
FOREACH item IN p1.serp;
obj.videos.push({
link = item.link
name = item.name
duration = item.duration
author = item.author
preview = item.preview
});
END;
obj.json %]
Texte initial:
[
Texte final:
]
Exemple de résultat :
{
"videos": [{
"link": "https://www.bing.com/videos/riverview/relatedvideo?&q=sport&&mid=79AF507BCEEA455ACC1679AF507BCEEA455ACC16&&FORM=VRDGAR",
"preview": "https://tse1.mm.bing.net/th?id=OVF.BbkN01YgJzwRV0nBF%2ff%2fQQ&w=309&h=173&c=7&rs=1&qlt=90&o=5&pid=2.1",
"name": "England's Mary Earps wins 2023 Sports Personality of th",
"author": "BBC Sport",
"duration": "3:35"
}, {
"link": "https://www.bing.com/videos/riverview/relatedvideo?&q=sport&&mid=86FB4CDD27E041A3F95586FB4CDD27E041A3F955&&FORM=VRDGAR",
"preview": "https://tse3.mm.bing.net/th?id=OVF.SPaQMo8Zrt%2fF5bGyKS0rQA&w=309&h=173&c=7&rs=1&qlt=90&o=5&pid=2.1",
"name": "1972 Chevy Super Sport Nova",
"author": "FOX 13 Tampa Bay",
"duration": "0:51"
}, {
"link": "https://www.bing.com/videos/riverview/relatedvideo?&q=sport&&mid=3AD36B1FAFC111F9C6F03AD36B1FAFC111F9C6F0&&FORM=VRDGAR",
"preview": "https://tse3.mm.bing.net/th?id=OVF.d1Q3sVw%2fHfzK9x2Z%2fV5Qkg&w=309&h=173&c=7&rs=1&qlt=90&o=5&pid=2.1",
"name": "1968 Super Sport Chevelle",
"author": "FOX 13 Tampa Bay",
"duration": "0:51"
}, {
"link": "https://www.msn.com/en-gb/sport/golf/benefits-of-winning-the-masters-golf/vi-AA1lNwOI",
"preview": "https://tse4.mm.bing.net/th?id=OVF.0Qa9k1McfmxqQgQudnQ%2bnw&w=309&h=173&c=7&rs=1&qlt=90&o=5&pid=2.1",
"name": "Benefits Of Winning The Masters Golf",
"author": "Dailymotion",
"duration": "1:46"
}, {
"link": "https://www.skysports.com/watch/video/13034880/radek-szaganskis-142-checkout-propels-him-to-round-1-victory",
"preview": "https://tse4.mm.bing.net/th?id=OVF.GBYcZsZ4KRxIcMCTRyvclw&w=309&h=173&c=7&rs=1&qlt=90&o=5&pid=2.1",
"name": "Radek Szaganski’s 142 checkout propels him to Rou",
"author": "",
"duration": "0:41"
}], "query": "sport"
}
Pour que les options "Texte initial" et "Texte final" soient disponibles dans l'Éditeur de tâches, vous devez activer "Plus d'options".
Paramètres possibles
| Paramètre | Valeur par défaut | Description |
|---|---|---|
| Pages count | 1 | Nombre de pages à collecter |
| Region | Based on IP | Choix de la région. Liste des régions. |
| Interface language | Any | Choix de la langue de l'interface. Liste des langues. |