Pular para o conteúdo principal

SE::Startpage::Videos - Scraper de vídeos do Startpage

Startpage Images

Visão geral do scraper​

Scraper de busca de vídeos Startpage. Graças ao scraper SE::Startpage::VideosSE::Startpage::Videos, você poderá obter bases de links para vídeos. Você pode usar consultas da mesma forma que as digita na barra de pesquisa do Startpage

A funcionalidade do A-Parser permite salvar as configurações de extração de dados do scraper SE::Startpage::VideosSE::Startpage::Videos para uso posterior (presets), definir cronogramas de extração de dados e muito mais. Você pode usar a geração automática de consultas, substituição de subconsultas a partir de arquivos, combinação de caracteres alfanuméricos e listas para obter o maior número possível de resultados.

A gravação dos resultados é possível no formato e estrutura que você desejar, graças ao poderoso motor de modelos integrado Template Toolkit que permite aplicar lógica adicional aos resultados e exibir dados em vários formatos, incluindo JSON, SQL e CSV.

Dados coletados​

  • Links para vídeos
  • Título e descrição
  • Nome do canal onde o vídeo está hospedado
  • Duração, número de visualizações e data de publicação
  • Links para as miniaturas (previews)

Recursos​

  • Escolha do número de páginas de resultados
  • Escolha do país e idioma
  • Configurações de filtros de pesquisa

Casos de uso​

  • Coleta de vídeos para preencher seus blogs, tubes, doorways...
  • Coleta de dados de texto

Consultas​

Como consultas, você deve especificar frases de pesquisa, por exemplo:

Cats
Football  
Waterfall  
Speak in english   
cars

Substituições de consultas​

Você pode usar macros integradas para multiplicar as consultas, por exemplo, se quisermos obter uma base muito grande de fóruns, especificamos algumas consultas principais em diferentes idiomas:

forum
fórum
foro
论坛

No formato de consulta, especificaremos a iteração de caracteres de a a zzzz, este método permite rotacionar ao máximo os resultados de pesquisa e obter muitos novos resultados únicos:

$query {az:a:zzzz}

Esta macro criará 475254 consultas adicionais para cada consulta de pesquisa original, o que totalizará 4 x 475254 = 1901016 consultas de pesquisa, um número impressionante, mas isso não é problema para o A-Parser. Com uma velocidade de 2000 consultas por minuto, essa tarefa será processada em apenas 16 horas.

Exemplos de saída de resultados​

O A-Parser suporta formatação flexível de resultados graças ao motor de modelos integrado Template Toolkit, o que permite exibir resultados em forma livre, bem como estruturada, como CSV ou JSON

Saída padrão​

Formato do resultado:

$serp.format('$link\n')

Exemplo de resultado:

https://www.youtube.com/watch?v=RSU167EAeSo
https://www.youtube.com/watch?v=aEnz_yfqh1M
https://www.youtube.com/watch?v=meAAifp2gVM
https://www.youtube.com/watch?v=wrKYE-ee6fs
https://www.youtube.com/watch?v=ANCo_5jHzxc
https://www.youtube.com/watch?v=Zmp0_d1tIKA
https://www.youtube.com/watch?v=i-fdORnsri8
https://www.youtube.com/watch?v=DlouMGeN6fk
https://www.youtube.com/watch?v=tpZbARGLeXo
https://www.youtube.com/watch?v=G3PO41Xa_H8

Saída em tabela CSV​

Formato do resultado:

[% FOREACH item IN serp;
    tools.CSVline(query, item.link, item.title, item.thumb, item.time);
END %]

Exemplo de resultado:

test,https://www.youtube.com/watch?v=qsKao007sgc,"DER FINALE ""COUNTDOWN""... BEGINNT... - Minecraft TEST #07",https://www.startpage.com/av/proxy-image?piurl=https%3A%2F%2Fi.ytimg.com%2Fvi%2FqsKao007sgc%2Fmqdefault.jpg&sp=1765464428Ta0fba5465bcc1e8e726171bf5cf9eea219b12f8e8d64b9f228175bdde99bfde4,34:12
test,https://www.youtube.com/watch?v=_YYmA7yrfNY,"Trypophobia Test",https://www.startpage.com/av/proxy-image?piurl=https%3A%2F%2Fi.ytimg.com%2Fvi%2F_YYmA7yrfNY%2Fmqdefault.jpg&sp=1765464428T97879232ecc62028405d9c9ebfd9ba81e96b228ae20616a7a0c69edb101939fb,0:15
test,https://www.youtube.com/watch?v=aEnz_yfqh1M,"Medical check up 🔥😱#army #shorts #viralshorts #viral #shotviral #motivation",https://www.startpage.com/av/proxy-image?piurl=https%3A%2F%2Fi.ytimg.com%2Fvi%2FaEnz_yfqh1M%2Fmqdefault.jpg&sp=1765464428T31ee58263bf161a7d9cf0e0a0a94c31966f68e616b647c4a5b6b29f4acb0c520,0:15
test,https://www.youtube.com/watch?v=Zmp0_d1tIKA,"Do you have it? #phobia #test #scary",https://www.startpage.com/av/proxy-image?piurl=https%3A%2F%2Fi.ytimg.com%2Fvi%2FZmp0_d1tIKA%2Fmqdefault.jpg&sp=1765464428Tf43ffbbbf2877507c6991cff0890716f9ad6e135b506f1301da471dce7895fa1,0:13
test,https://www.youtube.com/watch?v=wONUpazlG3Q,"WILLKOMMEN... IN... MEINER ""GESCHICHTE""?! - Minecraft TEST #01",https://www.startpage.com/av/proxy-image?piurl=https%3A%2F%2Fi.ytimg.com%2Fvi%2FwONUpazlG3Q%2Fmqdefault.jpg&sp=1765464428Tcf4629bf55be8087826be33efcabc18c08654360570447a33712b4c76ff03484,48:36
test,https://www.youtube.com/watch?v=Wlp87kRnqTM,"DAS WAHNSINNIGE ENDE... DES... LETZTEN PROJEKTS... - Minecraft TEST #02",https://www.startpage.com/av/proxy-image?piurl=https%3A%2F%2Fi.ytimg.com%2Fvi%2FWlp87kRnqTM%2Fmqdefault.jpg&sp=1765464428T0835851f32afc28039c234e0521f07f044aade47a6629d567ef77b737e540e88,54:48
test,https://www.youtube.com/watch?v=UejjAm8e-t4,"Grading Dave’s test #asmr #school #teacher #test #quiz #emojichallenge",https://www.startpage.com/av/proxy-image?piurl=https%3A%2F%2Fi.ytimg.com%2Fvi%2FUejjAm8e-t4%2Fmqdefault.jpg&sp=1765464428T31a05c8e8cabc90bb2c447e49f3bea787557c86bb8c24ff9a9a7b90ffabcb277,0:46
test,https://www.youtube.com/watch?v=meAAifp2gVM,"FREE FIRE LIVE👻GARENA FREE FIRE💀GUILD TEST LIVE !! AYUSH FF #freefire #totalgaming #fflive",https://www.startpage.com/av/proxy-image?piurl=https%3A%2F%2Fi.ytimg.com%2Fvi%2FmeAAifp2gVM%2Fmqdefault_live.jpg&sp=1765464428Tb77d8aa3d0477b19867bfd9f974d5c6ac31939f6dd44bf2510c29395184ee0ff,0:00:00
test,https://www.youtube.com/watch?v=jIyb8jS2vjc,"Grading Test #test #funny #memes #shorts",https://www.startpage.com/av/proxy-image?piurl=https%3A%2F%2Fi.ytimg.com%2Fvi%2FjIyb8jS2vjc%2Fmqdefault.jpg&sp=1765464428T4bff903ea6c31c66bbcbc336e2c6770ef744e7b0839181992f414f1d7a2973bc,0:34
test,https://www.youtube.com/watch?v=58ObmKvWkCM,"Grading Ray’s test… #asmr #school #teacher #test #quiz #emojichallenge",https://www.startpage.com/av/proxy-image?piurl=https%3A%2F%2Fi.ytimg.com%2Fvi%2F58ObmKvWkCM%2Fmqdefault.jpg&sp=1765464428Tf9649a716210bf2088381a27808cd3fa681b93688decf3b0e654ab5bba17fe0c,0:56

Salvamento no formato SQL​

Formato do resultado:

[%  FOREACH serp;
    "INSERT INTO serp VALUES('" _ query _ "', '";
        link _ "', '";
        title.replace("\n", '\n') _ "', '";
        channel _ "')\n";
END %]

Exemplo de resultado:

INSERT INTO serp VALUES('test', 'https://www.youtube.com/watch?v=qsKao007sgc', 'DER FINALE "COUNTDOWN"... BEGINNT... - Minecraft TEST #07', 'Chaosflo44')
INSERT INTO serp VALUES('test', 'https://www.youtube.com/watch?v=_YYmA7yrfNY', 'Trypophobia Test', 'Ornithogalum Adseptentrionesvergentulum')
INSERT INTO serp VALUES('test', 'https://www.youtube.com/watch?v=aEnz_yfqh1M', 'Medical check up 🔥😱#army #shorts #viralshorts #viral #shotviral #motivation', 'Anil Commando Physical Academy ')
INSERT INTO serp VALUES('test', 'https://www.youtube.com/watch?v=Zmp0_d1tIKA', 'Do you have it? #phobia #test #scary', 'LUNATIKOV')
INSERT INTO serp VALUES('test', 'https://www.youtube.com/watch?v=wONUpazlG3Q', 'WILLKOMMEN... IN... MEINER "GESCHICHTE"?! - Minecraft TEST #01', 'Chaosflo44')
INSERT INTO serp VALUES('test', 'https://www.youtube.com/watch?v=Wlp87kRnqTM', 'DAS WAHNSINNIGE ENDE... DES... LETZTEN PROJEKTS... - Minecraft TEST #02', 'Chaosflo44')
INSERT INTO serp VALUES('test', 'https://www.youtube.com/watch?v=meAAifp2gVM', 'FREE FIRE LIVE👻GARENA FREE FIRE💀GUILD TEST LIVE !! AYUSH FF #freefire #totalgaming #fflive', 'AYUSH FREEFIRE')
INSERT INTO serp VALUES('test', 'https://www.youtube.com/watch?v=UejjAm8e-t4', 'Grading Dave’s test #asmr #school #teacher #test #quiz #emojichallenge', 'Teacher Tim')
INSERT INTO serp VALUES('test', 'https://www.youtube.com/watch?v=jIyb8jS2vjc', 'Grading Test #test #funny #memes #shorts', 'VITMI')
INSERT INTO serp VALUES('test', 'https://www.youtube.com/watch?v=58ObmKvWkCM', 'Grading Ray’s test… #asmr #school #teacher #test #quiz #emojichallenge', 'Teacher Tim')

Dump de resultados em JSON​

Formato geral do resultado:

[% IF notFirst;
  ",\n";
ELSE;
  notFirst = 1;
END;

obj = {};
obj.query = query;
obj.videos = [];

FOREACH item IN p1.serp;
    obj.videos.push({
        link = item.link
        title = item.title
        time = item.time
        channel = item.channel
        thumb = item.thumb
    });
END;

obj.json %]

Texto inicial:

[

Texto final:

]

Exemplo de resultado:

{
  "videos": [
    {
      "link": "https://www.youtube.com/watch?v=qsKao007sgc",
      "time": "34:12",
      "channel": "Chaosflo44",
      "title": "DER FINALE \"COUNTDOWN\"... BEGINNT... - Minecraft TEST #07",
      "thumb": "https://www.startpage.com/av/proxy-image?piurl=https%3A%2F%2Fi.ytimg.com%2Fvi%2FqsKao007sgc%2Fmqdefault.jpg&sp=1765464645T553fa7872bba32911848fcbd479f1d1c6dc5eed198b063568dd553558996d377"
    },
    {
      "link": "https://www.youtube.com/watch?v=aEnz_yfqh1M",
      "time": "0:15",
      "channel": "Anil Commando Physical Academy ",
      "title": "Medical check up 🔥😱#army #shorts #viralshorts #viral #shotviral #motivation",
      "thumb": "https://www.startpage.com/av/proxy-image?piurl=https%3A%2F%2Fi.ytimg.com%2Fvi%2FaEnz_yfqh1M%2Fmqdefault.jpg&sp=1765464645T76be225124dc2515d951e69b2f707a8a9b535d6b02041abee39932aa377b7c35"
    },
    {
      "link": "https://www.youtube.com/watch?v=_YYmA7yrfNY",
      "time": "0:15",
      "channel": "Ornithogalum Adseptentrionesvergentulum",
      "title": "Trypophobia Test",
      "thumb": "https://www.startpage.com/av/proxy-image?piurl=https%3A%2F%2Fi.ytimg.com%2Fvi%2F_YYmA7yrfNY%2Fmqdefault.jpg&sp=1765464645Tc6ae06af5ca641baa0b2847762363e1e63e2bb366529df520de3997ac81af718"
    },
    {
      "link": "https://www.youtube.com/watch?v=dgG6UOmMWhc",
      "time": "0:00:00",
      "channel": "CricTalks",
      "title": "🔴 IND vs SA Live Match Today, 2nd T20I, Live Cricket Scores Commentary, India v South Africa",
      "thumb": "https://www.startpage.com/av/proxy-image?piurl=https%3A%2F%2Fi.ytimg.com%2Fvi%2FdgG6UOmMWhc%2Fmqdefault_live.jpg&sp=1765464645T48ae453ab618911e8a3154dce7983414e63a67f688a4e3e1fd6c6655b9cf93c2"
    },
    {
      "link": "https://www.youtube.com/watch?v=tq1WzzCTHZA",
      "time": "0:00:00",
      "channel": "KM PUNK",
      "title": "🔴 INDIA vs SOUTH AFRICA Live | IND vs SA 2nd T20I Live Match Today | Live Cricket Score & Commentary",
      "thumb": "https://www.startpage.com/av/proxy-image?piurl=https%3A%2F%2Fi.ytimg.com%2Fvi%2Ftq1WzzCTHZA%2Fmqdefault_live.jpg&sp=1765464645T65a3789d56aa1ecb29235798c1124cee02e7e5bed9adf6aca71f5e67562b3639"
    },
    {
      "link": "https://www.youtube.com/watch?v=Zmp0_d1tIKA",
      "time": "0:13",
      "channel": "LUNATIKOV",
      "title": "Do you have it? #phobia #test #scary",
      "thumb": "https://www.startpage.com/av/proxy-image?piurl=https%3A%2F%2Fi.ytimg.com%2Fvi%2FZmp0_d1tIKA%2Fmqdefault.jpg&sp=1765464645T76f3b801187ff196a314473a4c746a7353e5b009dca8b490cefdc5d21402d81b"
    },
    {
      "link": "https://www.youtube.com/watch?v=wONUpazlG3Q",
      "time": "48:36",
      "channel": "Chaosflo44",
      "title": "WILLKOMMEN... IN... MEINER \"GESCHICHTE\"?! - Minecraft TEST #01",
      "thumb": "https://www.startpage.com/av/proxy-image?piurl=https%3A%2F%2Fi.ytimg.com%2Fvi%2FwONUpazlG3Q%2Fmqdefault.jpg&sp=1765464645Te596123d6b746982b875f63ff9355029571381da981acef668644452bb427895"
    },
    {
      "link": "https://www.youtube.com/watch?v=meAAifp2gVM",
      "time": "0:00:00",
      "channel": "AYUSH FREEFIRE",
      "title": "FREE FIRE LIVE👻GARENA FREE FIRE💀GUILD TEST LIVE !! AYUSH FF #freefire #totalgaming #fflive",
      "thumb": "https://www.startpage.com/av/proxy-image?piurl=https%3A%2F%2Fi.ytimg.com%2Fvi%2FmeAAifp2gVM%2Fmqdefault_live.jpg&sp=1765464645T8866a7a2b3850884e5f4e86039c57dfd5d2cea42b388842ba6ff414f86602656"
    },
    {
      "link": "https://www.youtube.com/watch?v=Wlp87kRnqTM",
      "time": "54:48",
      "channel": "Chaosflo44",
      "title": "DAS WAHNSINNIGE ENDE... DES... LETZTEN PROJEKTS... - Minecraft TEST #02",
      "thumb": "https://www.startpage.com/av/proxy-image?piurl=https%3A%2F%2Fi.ytimg.com%2Fvi%2FWlp87kRnqTM%2Fmqdefault.jpg&sp=1765464645T78f46918578a2a1180027f439a5b73f43bafe75e95760f934027d7a8eb92dbd5"
    },
    {
      "link": "https://www.youtube.com/watch?v=jIyb8jS2vjc",
      "time": "0:34",
      "channel": "VITMI",
      "title": "Grading Test #test #funny #memes #shorts",
      "thumb": "https://www.startpage.com/av/proxy-image?piurl=https%3A%2F%2Fi.ytimg.com%2Fvi%2FjIyb8jS2vjc%2Fmqdefault.jpg&sp=1765464645Tf6521bd4a895abc669837cae63444e9d4791c0892e74a78369ea2d3730f8360d"
    }
  ],
  "query": "test"
}
dica

Para que as opções "Prepend text" e "Append text" estejam disponíveis no Editor de tarefas, é necessário ativar "More options".

Configurações possíveis​

nota

Configurações gerais para todos os scrapers

ParâmetroValor padrãoDescrição
Pages count5Número de páginas para extração de dados
Family filterFilter depending on searchFiltro familiar
Search languageEnglishEscolha do idioma dos resultados
Search countryAllEscolha do país de onde a pesquisa é realizada
Page languageEnglishEscolha do idioma da interface
SortRelevantOrdenação dos resultados
LengthAnyEscolha da duração do vídeo