SE::Startpage::Videos - công cụ cào dữ liệu Startpage video

Tổng quan về công cụ cào dữ liệu

Công cụ cào dữ liệu tìm kiếm video trên Startpage. Nhờ công cụ cào dữ liệu SE::Startpage::Videos, bạn có thể nhận được cơ sở dữ liệu các liên kết video. Bạn có thể sử dụng các truy vấn theo cùng định dạng mà bạn nhập vào thanh tìm kiếm của Startpage

Chức năng của A-Parser cho phép lưu các cài đặt cào dữ liệu của công cụ cào dữ liệu SE::Startpage::Videos để sử dụng sau này (preset), thiết lập lịch trình cào dữ liệu và nhiều tính năng khác. Bạn có thể sử dụng tính năng tự động nhân bản truy vấn, thay thế các truy vấn con từ tệp, hoán vị các tổ hợp chữ và số cũng như danh sách để nhận được số lượng kết quả tối đa có thể.

Việc lưu kết quả có thể thực hiện dưới bất kỳ hình thức và cấu trúc nào bạn cần, nhờ vào trình tạo mẫu mạnh mẽ tích hợp sẵn Template Toolkit cho phép áp dụng logic bổ sung cho kết quả và xuất dữ liệu ở nhiều định dạng khác nhau, bao gồm JSON, SQL và CSV.

Chuyển đến bản DEMO Mua A-Parser Pro ($299)

Dữ liệu thu thập được

Liên kết video
Tiêu đề và mô tả
Tên kênh đăng tải video
Thời lượng, số lượt xem và ngày xuất bản
Liên kết đến ảnh xem trước (preview)

Tính năng

Chọn số lượng trang kết quả
Chọn quốc gia và ngôn ngữ
Cài đặt bộ lọc tìm kiếm

Các trường hợp sử dụng

Thu thập video để làm phong phú nội dung blog, trang video, doorway...
Thu thập dữ liệu văn bản

Truy vấn

Các cụm từ tìm kiếm cần được chỉ định làm truy vấn, ví dụ:

Cats
Football  
Waterfall  
Speak in english   
cars

Thay thế truy vấn

Bạn có thể sử dụng macro tích hợp sẵn để nhân bản truy vấn, ví dụ chúng ta muốn có một cơ sở dữ liệu diễn đàn rất lớn, hãy chỉ định một vài truy vấn chính bằng các ngôn ngữ khác nhau:

forum
diễn đàn
foro
论坛

Trong định dạng truy vấn, chúng ta chỉ định việc lặp qua các ký tự từ a đến zzzz, phương pháp này cho phép xoay vòng tối đa kết quả tìm kiếm và nhận được nhiều kết quả mới duy nhất:

$query {az:a:zzzz}

Macro này sẽ tạo ra 475254 truy vấn bổ sung cho mỗi truy vấn tìm kiếm gốc, tổng cộng sẽ cho ra 4 x 475254 = 1901016 truy vấn tìm kiếm, một con số ấn tượng nhưng hoàn toàn không phải là vấn đề đối với A-Parser. Với tốc độ 2000 truy vấn mỗi phút, tác vụ này sẽ được xử lý chỉ trong khoảng 16 giờ.

Các tùy chọn xuất kết quả

A-Parser hỗ trợ định dạng kết quả linh hoạt nhờ trình tạo mẫu tích hợp Template Toolkit, cho phép xuất kết quả ở dạng tùy ý cũng như dạng có cấu trúc như CSV hoặc JSON

Xuất mặc định

Định dạng kết quả:

$serp.format('$link\n')

Ví dụ kết quả:

https://www.youtube.com/watch?v=RSU167EAeSo
https://www.youtube.com/watch?v=aEnz_yfqh1M
https://www.youtube.com/watch?v=meAAifp2gVM
https://www.youtube.com/watch?v=wrKYE-ee6fs
https://www.youtube.com/watch?v=ANCo_5jHzxc
https://www.youtube.com/watch?v=Zmp0_d1tIKA
https://www.youtube.com/watch?v=i-fdORnsri8
https://www.youtube.com/watch?v=DlouMGeN6fk
https://www.youtube.com/watch?v=tpZbARGLeXo
https://www.youtube.com/watch?v=G3PO41Xa_H8

Xuất ra bảng CSV

Định dạng kết quả:

[% FOREACH item IN serp;
    tools.CSVline(query, item.link, item.title, item.thumb, item.time);
END %]

Ví dụ kết quả:

test,https://www.youtube.com/watch?v=qsKao007sgc,"DER FINALE ""COUNTDOWN""... BEGINNT... - Minecraft TEST #07",https://www.startpage.com/av/proxy-image?piurl=https%3A%2F%2Fi.ytimg.com%2Fvi%2FqsKao007sgc%2Fmqdefault.jpg&sp=1765464428Ta0fba5465bcc1e8e726171bf5cf9eea219b12f8e8d64b9f228175bdde99bfde4,34:12
test,https://www.youtube.com/watch?v=_YYmA7yrfNY,"Trypophobia Test",https://www.startpage.com/av/proxy-image?piurl=https%3A%2F%2Fi.ytimg.com%2Fvi%2F_YYmA7yrfNY%2Fmqdefault.jpg&sp=1765464428T97879232ecc62028405d9c9ebfd9ba81e96b228ae20616a7a0c69edb101939fb,0:15
test,https://www.youtube.com/watch?v=aEnz_yfqh1M,"Medical check up 🔥😱#army #shorts #viralshorts #viral #shotviral #motivation",https://www.startpage.com/av/proxy-image?piurl=https%3A%2F%2Fi.ytimg.com%2Fvi%2FaEnz_yfqh1M%2Fmqdefault.jpg&sp=1765464428T31ee58263bf161a7d9cf0e0a0a94c31966f68e616b647c4a5b6b29f4acb0c520,0:15
test,https://www.youtube.com/watch?v=Zmp0_d1tIKA,"Do you have it? #phobia #test #scary",https://www.startpage.com/av/proxy-image?piurl=https%3A%2F%2Fi.ytimg.com%2Fvi%2FZmp0_d1tIKA%2Fmqdefault.jpg&sp=1765464428Tf43ffbbbf2877507c6991cff0890716f9ad6e135b506f1301da471dce7895fa1,0:13
test,https://www.youtube.com/watch?v=wONUpazlG3Q,"WILLKOMMEN... IN... MEINER ""GESCHICHTE""?! - Minecraft TEST #01",https://www.startpage.com/av/proxy-image?piurl=https%3A%2F%2Fi.ytimg.com%2Fvi%2FwONUpazlG3Q%2Fmqdefault.jpg&sp=1765464428Tcf4629bf55be8087826be33efcabc18c08654360570447a33712b4c76ff03484,48:36
test,https://www.youtube.com/watch?v=Wlp87kRnqTM,"DAS WAHNSINNIGE ENDE... DES... LETZTEN PROJEKTS... - Minecraft TEST #02",https://www.startpage.com/av/proxy-image?piurl=https%3A%2F%2Fi.ytimg.com%2Fvi%2FWlp87kRnqTM%2Fmqdefault.jpg&sp=1765464428T0835851f32afc28039c234e0521f07f044aade47a6629d567ef77b737e540e88,54:48
test,https://www.youtube.com/watch?v=UejjAm8e-t4,"Grading Dave’s test #asmr #school #teacher #test #quiz #emojichallenge",https://www.startpage.com/av/proxy-image?piurl=https%3A%2F%2Fi.ytimg.com%2Fvi%2FUejjAm8e-t4%2Fmqdefault.jpg&sp=1765464428T31a05c8e8cabc90bb2c447e49f3bea787557c86bb8c24ff9a9a7b90ffabcb277,0:46
test,https://www.youtube.com/watch?v=meAAifp2gVM,"FREE FIRE LIVE👻GARENA FREE FIRE💀GUILD TEST LIVE !! AYUSH FF #freefire #totalgaming #fflive",https://www.startpage.com/av/proxy-image?piurl=https%3A%2F%2Fi.ytimg.com%2Fvi%2FmeAAifp2gVM%2Fmqdefault_live.jpg&sp=1765464428Tb77d8aa3d0477b19867bfd9f974d5c6ac31939f6dd44bf2510c29395184ee0ff,0:00:00
test,https://www.youtube.com/watch?v=jIyb8jS2vjc,"Grading Test #test #funny #memes #shorts",https://www.startpage.com/av/proxy-image?piurl=https%3A%2F%2Fi.ytimg.com%2Fvi%2FjIyb8jS2vjc%2Fmqdefault.jpg&sp=1765464428T4bff903ea6c31c66bbcbc336e2c6770ef744e7b0839181992f414f1d7a2973bc,0:34
test,https://www.youtube.com/watch?v=58ObmKvWkCM,"Grading Ray’s test… #asmr #school #teacher #test #quiz #emojichallenge",https://www.startpage.com/av/proxy-image?piurl=https%3A%2F%2Fi.ytimg.com%2Fvi%2F58ObmKvWkCM%2Fmqdefault.jpg&sp=1765464428Tf9649a716210bf2088381a27808cd3fa681b93688decf3b0e654ab5bba17fe0c,0:56

Lưu dưới định dạng SQL

Định dạng kết quả:

[%  FOREACH serp;
    "INSERT INTO serp VALUES('" _ query _ "', '";
        link _ "', '";
        title.replace("\n", '\n') _ "', '";
        channel _ "')\n";
END %]

Ví dụ kết quả:

INSERT INTO serp VALUES('test', 'https://www.youtube.com/watch?v=qsKao007sgc', 'DER FINALE "COUNTDOWN"... BEGINNT... - Minecraft TEST #07', 'Chaosflo44')
INSERT INTO serp VALUES('test', 'https://www.youtube.com/watch?v=_YYmA7yrfNY', 'Trypophobia Test', 'Ornithogalum Adseptentrionesvergentulum')
INSERT INTO serp VALUES('test', 'https://www.youtube.com/watch?v=aEnz_yfqh1M', 'Medical check up 🔥😱#army #shorts #viralshorts #viral #shotviral #motivation', 'Anil Commando Physical Academy ')
INSERT INTO serp VALUES('test', 'https://www.youtube.com/watch?v=Zmp0_d1tIKA', 'Do you have it? #phobia #test #scary', 'LUNATIKOV')
INSERT INTO serp VALUES('test', 'https://www.youtube.com/watch?v=wONUpazlG3Q', 'WILLKOMMEN... IN... MEINER "GESCHICHTE"?! - Minecraft TEST #01', 'Chaosflo44')
INSERT INTO serp VALUES('test', 'https://www.youtube.com/watch?v=Wlp87kRnqTM', 'DAS WAHNSINNIGE ENDE... DES... LETZTEN PROJEKTS... - Minecraft TEST #02', 'Chaosflo44')
INSERT INTO serp VALUES('test', 'https://www.youtube.com/watch?v=meAAifp2gVM', 'FREE FIRE LIVE👻GARENA FREE FIRE💀GUILD TEST LIVE !! AYUSH FF #freefire #totalgaming #fflive', 'AYUSH FREEFIRE')
INSERT INTO serp VALUES('test', 'https://www.youtube.com/watch?v=UejjAm8e-t4', 'Grading Dave’s test #asmr #school #teacher #test #quiz #emojichallenge', 'Teacher Tim')
INSERT INTO serp VALUES('test', 'https://www.youtube.com/watch?v=jIyb8jS2vjc', 'Grading Test #test #funny #memes #shorts', 'VITMI')
INSERT INTO serp VALUES('test', 'https://www.youtube.com/watch?v=58ObmKvWkCM', 'Grading Ray’s test… #asmr #school #teacher #test #quiz #emojichallenge', 'Teacher Tim')

Xuất kết quả sang JSON

Định dạng kết quả chung:

[% IF notFirst;
  ",\n";
ELSE;
  notFirst = 1;
END;

obj = {};
obj.query = query;
obj.videos = [];

FOREACH item IN p1.serp;
    obj.videos.push({
        link = item.link
        title = item.title
        time = item.time
        channel = item.channel
        thumb = item.thumb
    });
END;

obj.json %]

Văn bản bắt đầu:

Văn bản kết thúc:

Ví dụ kết quả:

{
  "videos": [
    {
      "link": "https://www.youtube.com/watch?v=qsKao007sgc",
      "time": "34:12",
      "channel": "Chaosflo44",
      "title": "DER FINALE \"COUNTDOWN\"... BEGINNT... - Minecraft TEST #07",
      "thumb": "https://www.startpage.com/av/proxy-image?piurl=https%3A%2F%2Fi.ytimg.com%2Fvi%2FqsKao007sgc%2Fmqdefault.jpg&sp=1765464645T553fa7872bba32911848fcbd479f1d1c6dc5eed198b063568dd553558996d377"
    },
    {
      "link": "https://www.youtube.com/watch?v=aEnz_yfqh1M",
      "time": "0:15",
      "channel": "Anil Commando Physical Academy ",
      "title": "Medical check up 🔥😱#army #shorts #viralshorts #viral #shotviral #motivation",
      "thumb": "https://www.startpage.com/av/proxy-image?piurl=https%3A%2F%2Fi.ytimg.com%2Fvi%2FaEnz_yfqh1M%2Fmqdefault.jpg&sp=1765464645T76be225124dc2515d951e69b2f707a8a9b535d6b02041abee39932aa377b7c35"
    },
    {
      "link": "https://www.youtube.com/watch?v=_YYmA7yrfNY",
      "time": "0:15",
      "channel": "Ornithogalum Adseptentrionesvergentulum",
      "title": "Trypophobia Test",
      "thumb": "https://www.startpage.com/av/proxy-image?piurl=https%3A%2F%2Fi.ytimg.com%2Fvi%2F_YYmA7yrfNY%2Fmqdefault.jpg&sp=1765464645Tc6ae06af5ca641baa0b2847762363e1e63e2bb366529df520de3997ac81af718"
    },
    {
      "link": "https://www.youtube.com/watch?v=dgG6UOmMWhc",
      "time": "0:00:00",
      "channel": "CricTalks",
      "title": "🔴 IND vs SA Live Match Today, 2nd T20I, Live Cricket Scores Commentary, India v South Africa",
      "thumb": "https://www.startpage.com/av/proxy-image?piurl=https%3A%2F%2Fi.ytimg.com%2Fvi%2FdgG6UOmMWhc%2Fmqdefault_live.jpg&sp=1765464645T48ae453ab618911e8a3154dce7983414e63a67f688a4e3e1fd6c6655b9cf93c2"
    },
    {
      "link": "https://www.youtube.com/watch?v=tq1WzzCTHZA",
      "time": "0:00:00",
      "channel": "KM PUNK",
      "title": "🔴 INDIA vs SOUTH AFRICA Live | IND vs SA 2nd T20I Live Match Today | Live Cricket Score & Commentary",
      "thumb": "https://www.startpage.com/av/proxy-image?piurl=https%3A%2F%2Fi.ytimg.com%2Fvi%2Ftq1WzzCTHZA%2Fmqdefault_live.jpg&sp=1765464645T65a3789d56aa1ecb29235798c1124cee02e7e5bed9adf6aca71f5e67562b3639"
    },
    {
      "link": "https://www.youtube.com/watch?v=Zmp0_d1tIKA",
      "time": "0:13",
      "channel": "LUNATIKOV",
      "title": "Do you have it? #phobia #test #scary",
      "thumb": "https://www.startpage.com/av/proxy-image?piurl=https%3A%2F%2Fi.ytimg.com%2Fvi%2FZmp0_d1tIKA%2Fmqdefault.jpg&sp=1765464645T76f3b801187ff196a314473a4c746a7353e5b009dca8b490cefdc5d21402d81b"
    },
    {
      "link": "https://www.youtube.com/watch?v=wONUpazlG3Q",
      "time": "48:36",
      "channel": "Chaosflo44",
      "title": "WILLKOMMEN... IN... MEINER \"GESCHICHTE\"?! - Minecraft TEST #01",
      "thumb": "https://www.startpage.com/av/proxy-image?piurl=https%3A%2F%2Fi.ytimg.com%2Fvi%2FwONUpazlG3Q%2Fmqdefault.jpg&sp=1765464645Te596123d6b746982b875f63ff9355029571381da981acef668644452bb427895"
    },
    {
      "link": "https://www.youtube.com/watch?v=meAAifp2gVM",
      "time": "0:00:00",
      "channel": "AYUSH FREEFIRE",
      "title": "FREE FIRE LIVE👻GARENA FREE FIRE💀GUILD TEST LIVE !! AYUSH FF #freefire #totalgaming #fflive",
      "thumb": "https://www.startpage.com/av/proxy-image?piurl=https%3A%2F%2Fi.ytimg.com%2Fvi%2FmeAAifp2gVM%2Fmqdefault_live.jpg&sp=1765464645T8866a7a2b3850884e5f4e86039c57dfd5d2cea42b388842ba6ff414f86602656"
    },
    {
      "link": "https://www.youtube.com/watch?v=Wlp87kRnqTM",
      "time": "54:48",
      "channel": "Chaosflo44",
      "title": "DAS WAHNSINNIGE ENDE... DES... LETZTEN PROJEKTS... - Minecraft TEST #02",
      "thumb": "https://www.startpage.com/av/proxy-image?piurl=https%3A%2F%2Fi.ytimg.com%2Fvi%2FWlp87kRnqTM%2Fmqdefault.jpg&sp=1765464645T78f46918578a2a1180027f439a5b73f43bafe75e95760f934027d7a8eb92dbd5"
    },
    {
      "link": "https://www.youtube.com/watch?v=jIyb8jS2vjc",
      "time": "0:34",
      "channel": "VITMI",
      "title": "Grading Test #test #funny #memes #shorts",
      "thumb": "https://www.startpage.com/av/proxy-image?piurl=https%3A%2F%2Fi.ytimg.com%2Fvi%2FjIyb8jS2vjc%2Fmqdefault.jpg&sp=1765464645Tf6521bd4a895abc669837cae63444e9d4791c0892e74a78369ea2d3730f8360d"
    }
  ],
  "query": "test"
}

mẹo

Để các tùy chọn "Prepend text" và "Append text" hiển thị trong Trình chỉnh sửa tác vụ, bạn cần kích hoạt "More options".

Các cài đặt khả dụng

ghi chú

Cài đặt chung cho tất cả các công cụ cào dữ liệu

Tham số	Giá trị mặc định	Mô tả
Pages count	`5`	Số lượng trang để cào dữ liệu
Family filter	`Filter depending on search`	Bộ lọc gia đình
Search language	`English`	Chọn ngôn ngữ của kết quả
Search country	`All`	Chọn quốc gia nơi thực hiện tìm kiếm
Page language	`English`	Chọn ngôn ngữ giao diện
Sort	`Relevant`	Sắp xếp kết quả
Length	`Any`	Chọn thời lượng video

Tổng quan về công cụ cào dữ liệu​

Dữ liệu thu thập được​

Tính năng​

Các trường hợp sử dụng​

Truy vấn​

Thay thế truy vấn​

Các tùy chọn xuất kết quả​

Xuất mặc định​

Xuất ra bảng CSV​

Lưu dưới định dạng SQL​

Xuất kết quả sang JSON​

Các cài đặt khả dụng​

Tổng quan về công cụ cào dữ liệu

Dữ liệu thu thập được

Tính năng

Các trường hợp sử dụng

Truy vấn

Thay thế truy vấn

Các tùy chọn xuất kết quả

Xuất mặc định

Xuất ra bảng CSV

Lưu dưới định dạng SQL

Xuất kết quả sang JSON

Các cài đặt khả dụng