SE::Bing::Video - công cụ cào dữ liệu Bing Video
Tổng quan về công cụ cào dữ liệu
Công cụ cào dữ liệu tìm kiếm video Bing. Nhờ công cụ cào dữ liệu 
SE::Bing::Video, bạn có thể nhận được cơ sở dữ liệu các liên kết video. Bạn có thể sử dụng các truy vấn ở cùng định dạng mà bạn nhập vào thanh tìm kiếm của Bing
Chức năng của A-Parser cho phép lưu các cài đặt cào dữ liệu của công cụ SE::Bing::Video để sử dụng sau này (mẫu thiết lập sẵn), thiết lập lịch trình cào dữ liệu và nhiều tính năng khác. Bạn có thể sử dụng tính năng tự động nhân bản truy vấn, thay thế truy vấn phụ từ tệp, lặp qua các tổ hợp chữ-số và danh sách để nhận được số lượng kết quả tối đa có thể.
Việc lưu trữ kết quả có thể thực hiện dưới bất kỳ hình thức và cấu trúc nào bạn cần, nhờ vào bộ tạo mẫu mạnh mẽ tích hợp Template Toolkit cho phép áp dụng logic bổ sung cho kết quả và xuất dữ liệu ở nhiều định dạng khác nhau, bao gồm JSON, SQL và CSV.
Dữ liệu thu thập được
- Liên kết video
- Tiêu đề
- Tên dịch vụ lưu trữ video
- Thời lượng, số lượt xem và ngày đăng
- Liên kết đến ảnh xem trước (preview) của video
Tính năng
- Chọn số lượng trang kết quả
- Chọn vị trí địa lý
Ứng dụng
- Thu thập video để làm phong phú nội dung blog, trang video, doorway...
- Thu thập dữ liệu văn bản
Truy vấn
Trong phần truy vấn, bạn cần chỉ định các cụm từ tìm kiếm, ví dụ:
Cats
Football
Waterfall
Speak in english
cars
Thay thế truy vấn
Bạn có thể sử dụng mẫu macro tích hợp để nhân bản truy vấn, ví dụ: chúng ta muốn có một cơ sở dữ liệu diễn đàn rất lớn, hãy chỉ định một vài truy vấn chính bằng các ngôn ngữ khác nhau:
forum
diễn đàn
foro
论坛
Trong định dạng truy vấn, chúng ta chỉ định việc lặp các ký tự từ a đến zzzz, phương pháp này cho phép xoay vòng kết quả tìm kiếm tối đa và nhận được nhiều kết quả mới duy nhất:
$query {az:a:zzzz}
Macro này sẽ tạo ra 475254 truy vấn bổ sung cho mỗi truy vấn tìm kiếm gốc, tổng cộng sẽ cho ra 4 x 475254 = 1901016 truy vấn tìm kiếm, một con số ấn tượng nhưng hoàn toàn không phải là vấn đề đối với A-Parser. Với tốc độ 2000 truy vấn mỗi phút, tác vụ này sẽ được xử lý chỉ trong khoảng 16 giờ.
Các tùy chọn xuất kết quả
A-Parser hỗ trợ định dạng kết quả linh hoạt nhờ bộ tạo mẫu tích hợp Template Toolkit, cho phép xuất kết quả ở dạng tùy ý cũng như dạng có cấu trúc như CSV hoặc JSON.
Xuất mặc định
Định dạng kết quả:
$serp.format('$link\n')
Ví dụ kết quả:
https://www.bing.com/videos/riverview/relatedvideo?&q=sport&&mid=79AF507BCEEA455ACC1679AF507BCEEA455ACC16&&FORM=VRDGAR
https://www.bing.com/videos/riverview/relatedvideo?&q=sport&&mid=86FB4CDD27E041A3F95586FB4CDD27E041A3F955&&FORM=VRDGAR
https://www.bing.com/videos/riverview/relatedvideo?&q=sport&&mid=3AD36B1FAFC111F9C6F03AD36B1FAFC111F9C6F0&&FORM=VRDGAR
https://www.msn.com/en-gb/sport/golf/benefits-of-winning-the-masters-golf/vi-AA1lNwOI
https://www.bing.com/videos/riverview/relatedvideo?&q=sport&&mid=D8EB9E5532894EACFB73D8EB9E5532894EACFB73&&FORM=VRDGAR
https://www.bing.com/videos/riverview/relatedvideo?&q=sport&&mid=9CB33DC7E23801445F3F9CB33DC7E23801445F3F&&FORM=VRDGAR
https://talksport.com/football/1685319/troy-deeney-forest-green-rovers-manager/
https://ca.sports.yahoo.com/news/best-30-mens-cricketers-britain-140144281.html
https://www.bing.com/videos/riverview/relatedvideo?&q=sport&&mid=B9593E6DF96A59F4D941B9593E6DF96A59F4D941&&FORM=VRDGAR
https://www.msn.com/en-gb/sport/golf/6-golf-tips-golf-monthly/vi-AA1lNrLU
https://sports.yahoo.com/best-30-mens-cricketers-britain-140144281.html
https://www.bing.com/videos/riverview/relatedvideo?&q=sport&&mid=086DF2129F5807EC02F1086DF2129F5807EC02F1&&FORM=VRDGAR
https://www.bing.com/videos/riverview/relatedvideo?&q=sport&&mid=14632A97F627B502518514632A97F627B5025185&&FORM=VRDGAR
Xuất ra bảng CSV
Định dạng kết quả:
[% FOREACH item IN serp;
tools.CSVline(query, item.link, item.name, item.preview, item.duration);
END %]
Ví dụ kết quả:
sport,https://www.bing.com/videos/riverview/relatedvideo?&q=sport&&mid=79AF507BCEEA455ACC1679AF507BCEEA455ACC16&&FORM=VRDGAR,"England's Mary Earps wins 2023 Sports Personality of th",w=309&h=173&c=7&rs=1&qlt=90&o=5&pid=2.1,3:35
sport,https://www.bing.com/videos/riverview/relatedvideo?&q=sport&&mid=86FB4CDD27E041A3F95586FB4CDD27E041A3F955&&FORM=VRDGAR,"1972 Chevy Super Sport Nova",w=309&h=173&c=7&rs=1&qlt=90&o=5&pid=2.1,0:51
sport,https://www.bing.com/videos/riverview/relatedvideo?&q=sport&&mid=3AD36B1FAFC111F9C6F03AD36B1FAFC111F9C6F0&&FORM=VRDGAR,"1968 Super Sport Chevelle",w=309&h=173&c=7&rs=1&qlt=90&o=5&pid=2.1,0:51
sport,https://www.bing.com/videos/riverview/relatedvideo?&q=sport&&mid=FBBB3E08963152230A54FBBB3E08963152230A54&&FORM=VRDGAR,"We had to have some hard conversations - Marsters",https://tse2.mm.bing.net/th?id=OVF.O3Nq%2bBQ%2bjnbhZnbfYxDA7w&w=309&h=173&c=7&rs=1&qlt=90&o=5&pid=2.1,7:51
sport,https://www.bing.com/videos/riverview/relatedvideo?&q=sport&&mid=086DF2129F5807EC02F1086DF2129F5807EC02F1&&FORM=VRDGAR,"Ja Morant Hits Buzzer-Beater, Seals Victory Post-Suspension",https://tse2.mm.bing.net/th?id=OVF.ON%2fSFfXw5e9WwzZEMbbEeQ&w=309&h=173&c=7&rs=1&qlt=90&o=5&pid=2.1,1:09
sport,https://www.bbc.co.uk/sport/football/67723705,"Ollie Watkins: Aston Villa striker explains controversia",https://tse3.mm.bing.net/th?id=OVF.Hc9LkZQ9XhYo%2bFbAtxpLGg&w=309&h=173&c=7&rs=1&qlt=90&o=5&pid=2.1,
sport,https://www.bbc.com/sport/articles/c2vyevn0g7zo,"Anthony Ogogo: 'Why I used to hide being a Norwich City fan'",https://tse3.mm.bing.net/th?id=OVF.kvcGexXDQxqqCSiNRXEkRg&w=309&h=173&c=7&rs=1&qlt=90&o=5&pid=2.1,1:15
sport,https://www.bing.com/videos/riverview/relatedvideo?&q=sport&&mid=9FDCCE66150310EB99CB9FDCCE66150310EB99CB&&FORM=VRDGAR,"Aaron Rodgers Eyes Future Beyond 40 Despite Achilles ",https://tse4.mm.bing.net/th?id=OVF.fMSU0FvKihMc8q2TjXg%2fkw&w=309&h=173&c=7&rs=1&qlt=90&o=5&pid=2.1,1:13
sport,https://www.bing.com/videos/riverview/relatedvideo?&q=sport&&mid=361720861BF1297ADE98361720861BF1297ADE98&&FORM=VRDGAR,"Dillon Brooks, Ime Udoka Penalized For Outbursts At R",https://tse1.mm.bing.net/th?id=OVF.3TNSq7yVIFY84%2fQsm5KyJQ&w=309&h=173&c=7&rs=1&qlt=90&o=5&pid=2.1,1:12
sport,https://www.bing.com/videos/riverview/relatedvideo?&q=sport&&mid=B9593E6DF96A59F4D941B9593E6DF96A59F4D941&&FORM=VRDGAR,"Manchester United, Arsenal and the battle for Mary Earps",https://tse3.mm.bing.net/th?id=OVF.bK8xXZhzmQ0PD8CbFvDaGg&w=309&h=173&c=7&rs=1&qlt=90&o=5&pid=2.1,1:18
sport,https://www.bing.com/videos/riverview/relatedvideo?&q=sport&&mid=14632A97F627B502518514632A97F627B5025185&&FORM=VRDGAR,"Miller desperate for debut",https://tse2.mm.bing.net/th?id=OVF.a8MhMzLvFmPQ5fqRbc3l0g&w=309&h=173&c=7&rs=1&qlt=90&o=5&pid=2.1,3:38
Lưu dưới định dạng SQL
Định dạng kết quả:
[% FOREACH serp; "INSERT INTO serp VALUES('" _ query _ "', '"; directLink _ "', '"; name.replace("\n", '\n') _ "', '"; author _ "')\n"; END %]
Ví dụ kết quả:
INSERT INTO serp VALUES('sport', 'https://www.youtube.com/watch?v=d5sxT8CACHM', 'England's Mary Earps wins 2023 Sports Personality of th', 'BBC Sport')
INSERT INTO serp VALUES('sport', 'https://sports.yahoo.com/best-30-mens-cricketers-britain-140144281.html', 'Best 30 men's cricketers in Britain right now', 'Tim Wigmore')
INSERT INTO serp VALUES('sport', 'https://www.msn.com/en-us/sports/more-sports/when-usain-bolt-and-andre-de-grasse-smile-the-whole-world-smiles-with-them-olympic-memories/vi-AA1lMZ2W', 'When Usain Bolt and Andre de Grasse smile, the whole worl', 'The Independent News')
INSERT INTO serp VALUES('sport', 'https://www.msn.com/en-us/sports/more-sports/1968-super-sport-chevelle/vi-AA1lMLLn', '1968 Super Sport Chevelle', 'FOX 13 Tampa Bay')
INSERT INTO serp VALUES('sport', 'https://www.msn.com/en-gb/sport/golf/benefits-of-winning-the-masters-golf/vi-AA1lNwOI', 'Benefits Of Winning The Masters Golf', 'Dailymotion')
INSERT INTO serp VALUES('sport', 'https://www.independent.co.uk/sport/darts/world-darts-championship-live-stream-scores-results-b2467256.html', 'PDC World Darts Championship LIVE: Results', 'Michael Jones')
INSERT INTO serp VALUES('sport', 'https://www.msn.com/en-us/sports/nfl/aaron-rodgers-eyes-future-beyond-40-despite-achilles-setback/vi-AA1lNg0R', 'Aaron Rodgers Eyes Future Beyond 40 Despite Achilles S', 'unbranded - Sport')
INSERT INTO serp VALUES('sport', 'https://www.msn.com/en-gb/sport/golf/6-golf-tips-golf-monthly/vi-AA1lNrLU', '6 Golf Tips | Golf Monthly', 'Dailymotion')
INSERT INTO serp VALUES('sport', 'https://www.msn.com/en-us/autos/news/1972-chevy-super-sport-nova/vi-AA1lN3Px', '1972 Chevy Super Sport Nova', 'FOX 13 Tampa Bay')
INSERT INTO serp VALUES('sport', 'https://www.youtube.com/watch?v=1DtqwboJVFc', 'Desi Cricket Pakistan Final Match Bhutto Club Vs GB Cal', 'Desi Sport GB')
INSERT INTO serp VALUES('sport', 'https://ca.sports.yahoo.com/news/best-30-mens-cricketers-britain-140144281.html', 'Best 30 men's cricketers in Britain right now', 'Tim Wigmore')
INSERT INTO serp VALUES('sport', 'https://www.independent.co.uk/sport/football/mary-earps-manchester-united-arsenal-spoty-b2467111.html', 'Manchester United, Arsenal and the battle for Mary Earps', 'Ben Fleming')
Kết xuất kết quả sang JSON
Định dạng kết quả chung:
[% IF notFirst;
",\n";
ELSE;
notFirst = 1;
END;
obj = {};
obj.query = query;
obj.videos = [];
FOREACH item IN p1.serp;
obj.videos.push({
link = item.link
name = item.name
duration = item.duration
author = item.author
preview = item.preview
});
END;
obj.json %]
Văn bản bắt đầu:
[
Văn bản kết thúc:
]
Ví dụ kết quả:
{
"videos": [{
"link": "https://www.bing.com/videos/riverview/relatedvideo?&q=sport&&mid=79AF507BCEEA455ACC1679AF507BCEEA455ACC16&&FORM=VRDGAR",
"preview": "https://tse1.mm.bing.net/th?id=OVF.BbkN01YgJzwRV0nBF%2ff%2fQQ&w=309&h=173&c=7&rs=1&qlt=90&o=5&pid=2.1",
"name": "England's Mary Earps wins 2023 Sports Personality of th",
"author": "BBC Sport",
"duration": "3:35"
}, {
"link": "https://www.bing.com/videos/riverview/relatedvideo?&q=sport&&mid=86FB4CDD27E041A3F95586FB4CDD27E041A3F955&&FORM=VRDGAR",
"preview": "https://tse3.mm.bing.net/th?id=OVF.SPaQMo8Zrt%2fF5bGyKS0rQA&w=309&h=173&c=7&rs=1&qlt=90&o=5&pid=2.1",
"name": "1972 Chevy Super Sport Nova",
"author": "FOX 13 Tampa Bay",
"duration": "0:51"
}, {
"link": "https://www.bing.com/videos/riverview/relatedvideo?&q=sport&&mid=3AD36B1FAFC111F9C6F03AD36B1FAFC111F9C6F0&&FORM=VRDGAR",
"preview": "https://tse3.mm.bing.net/th?id=OVF.d1Q3sVw%2fHfzK9x2Z%2fV5Qkg&w=309&h=173&c=7&rs=1&qlt=90&o=5&pid=2.1",
"name": "1968 Super Sport Chevelle",
"author": "FOX 13 Tampa Bay",
"duration": "0:51"
}, {
"link": "https://www.msn.com/en-gb/sport/golf/benefits-of-winning-the-masters-golf/vi-AA1lNwOI",
"preview": "https://tse4.mm.bing.net/th?id=OVF.0Qa9k1McfmxqQgQudnQ%2bnw&w=309&h=173&c=7&rs=1&qlt=90&o=5&pid=2.1",
"name": "Benefits Of Winning The Masters Golf",
"author": "Dailymotion",
"duration": "1:46"
}, {
"link": "https://www.skysports.com/watch/video/13034880/radek-szaganskis-142-checkout-propels-him-to-round-1-victory",
"preview": "https://tse4.mm.bing.net/th?id=OVF.GBYcZsZ4KRxIcMCTRyvclw&w=309&h=173&c=7&rs=1&qlt=90&o=5&pid=2.1",
"name": "Radek Szaganski’s 142 checkout propels him to Rou",
"author": "",
"duration": "0:41"
}], "query": "sport"
}
mẹo
Để các tùy chọn "Prepend text" và "Append text" hiển thị trong Trình chỉnh sửa tác vụ, bạn cần kích hoạt "More options".
Các cài đặt có thể
| Tham số | Giá trị mặc định | Mô tả |
|---|---|---|
| Pages count | 1 | Số lượng trang để cào dữ liệu |
| Region | Based on IP | Chọn khu vực. Danh sách khu vực. |
| Interface language | Any | Chọn ngôn ngữ giao diện. Danh sách ngôn ngữ. |