SE::Yandex::Video - scraper do Yandex Vídeo

Visão geral do scraper

Scraper de busca de vídeos do Yandex. Graças ao scraper SE::Yandex::Video, você poderá obter bases de links para vídeos. Você pode usar consultas da mesma forma que as digita na barra de pesquisa do Yandex.

A funcionalidade do A-Parser permite salvar as configurações de extração de dados do scraper Yandex para uso posterior (presetes), definir agendamentos de extração de dados e muito mais. Você pode usar a multiplicação automática de consultas, substituição de subconsultas a partir de arquivos, combinação de caracteres alfanuméricos e listas para obter a maior quantidade possível de resultados.

A preservação dos resultados é possível no formato e estrutura que você necessita, graças ao poderoso motor de modelos integrado Template Toolkit, que permite aplicar lógica adicional aos resultados e exibir dados em vários formatos, incluindo JSON, SQL e CSV.

Ir para DEMO Comprar A-Parser Pro ($299)

Dados coletados

Links para vídeos
Âncoras
Snippets
Nome do serviço onde o vídeo está hospedado
Duração, número de visualizações e data de publicação
Links para o pôster e pré-visualização do vídeo
Resumo do vídeo
Lista de seções no vídeo
Código para incorporação em sites

Recursos

Suporte a filtros (curtos, recentes)
Escolha do número de páginas de resultados
Suporte a sessões

Casos de uso

Coleta de vídeos para preencher blogs, tubes, doorways...
Coleta de dados de texto

Consultas

Como consultas, é necessário indicar frases de pesquisa, por exemplo:

Cats
Football  
Waterfall  
Speak in english   
cars

Substituições de consultas

Você pode usar macros integradas para multiplicar consultas, por exemplo, se quisermos obter uma base muito grande de fóruns, indicaremos algumas consultas principais em diferentes idiomas:

forum
fórum
foro
论坛

No formato de consultas, indicaremos a iteração de caracteres de a até zzzz, este método permite rotacionar ao máximo os resultados de busca e obter muitos novos resultados únicos:

$query {az:a:zzzz}

Esta macro criará 475254 consultas adicionais para cada consulta de pesquisa original, o que resultará em um total de 4 x 475254 = 1901016 consultas de pesquisa, um número impressionante, mas que não é problema para o A-Parser. Com uma velocidade de 2000 consultas por minuto, tal tarefa será processada em apenas 16 horas.

Opções de exibição de resultados

O A-Parser suporta formatação flexível de resultados graças ao motor de modelos integrado Template Toolkit, o que permite exibir resultados em forma livre, bem como estruturada, como CSV ou JSON.

Exibição padrão

Formato do resultado:

$serp.format('$link\n')

Exemplo de resultado:

http://www.youtube.com/v/lcYzh7IjJj0
http://www.youtube.com/watch?v=VD2h2YUY_WQ
http://www.youtube.com/watch?v=UPOUE8ObCy8
http://www.youtube.com/watch?v=Ha9Q1kHqCHA
http://www.youtube.com/watch?v=P5rlifhgewY
https://zen.yandex.ru/video/watch/61099fa859eaef364db8b3cd?f=video
http://www.youtube.com/v/-cvEA8897Fc?fs=0
https://zen.yandex.ru/video/watch/625ed4e3099b9b7b81b17e3b?f=video
http://rutube.ru/video/016773a106036e9d3cd619ace97011e0/
http://rutube.ru/video/e54b2392b7dd3fe57fed6002aba5f833/
http://rutube.ru/video/8fe868740089c3557d6d54e86ceca6a1/
http://www.youtube.com/v/OuOK2fEPdMU
http://www.youtube.com/watch?v=UcbmVFYp4Lg
http://www.youtube.com/watch?v=JgJE4oQf-Gs
http://www.youtube.com/watch?v=ektN1-ptnDE

Exibição em tabela CSV

Formato do resultado:

[% FOREACH item IN serp;
    tools.CSVline(query, item.link, item.anchor, item.prevPoster, item.duration, item.views);
END %]

Exemplo de resultado:

test,http://www.youtube.com/v/lcYzh7IjJj0,"<b>Teste</b> de IQ com a ajuda de 10 fotos",https://avatars.mds.yandex.net/get-vthumb/4322300/5f649751351f727400bfd1be494fd6b4/564x318_1,07:09,"2,5 milhões de visualizações"
test,http://www.youtube.com/watch?v=VD2h2YUY_WQ,"Online <b>Test</b> Pad -como criar você mesmo um <b>teste</b>",https://avatars.mds.yandex.net/get-vthumb/1023253/fffa43fb9402c436d6881537bb9aee9a/564x318_1,05:38,"16,6 mil visualizações"
test,http://www.youtube.com/watch?v=UPOUE8ObCy8,"Teste educativo simples <b>teste</b>.  Online <b>Test</b> Pad",https://avatars.mds.yandex.net/get-vthumb/3435353/fa94c2b60d9bb0fa8cda2d469b6dcf0a/564x318_1,04:16,"76,5 mil visualizações"
test,http://www.youtube.com/watch?v=Ha9Q1kHqCHA,"Criamos <b>testes</b> com Online <b>Test</b> Pad #2",https://avatars.mds.yandex.net/get-vthumb/2032788/4ffd2b149fbfc3de17b67ef92290028e/564x318_1,07:00,"1704 visualizações"
test,http://www.youtube.com/watch?v=P5rlifhgewY,"Este IQ-<b>teste</b> de 5 Perguntas Mostrará o Nível da Sua Inteligência",https://avatars.mds.yandex.net/get-vthumb/4507451/f3475d744f7841b40912dd933dce65c1/564x318_1,08:01,"606 mil visualizações"
test,https://zen.yandex.ru/video/watch/61099fa859eaef364db8b3cd?f=video,"Spotlight 4 4ª série. Final <b>teste</b>.  Exit <b>test</b>",https://avatars.mds.yandex.net/get-vthumb/3304426/beaeeaba5bfc6c00bcae50c4fa7cf236/564x318_1,09:39,
test,http://www.youtube.com/v/-cvEA8897Fc?fs=0,"English grammar <b>test</b>",https://avatars.mds.yandex.net/get-vthumb/2428342/b5b8a32f0260ce4ac785b6a4f1a8b006/564x318_1,12:35,"597 mil visualizações"
test,https://zen.yandex.ru/video/watch/625ed4e3099b9b7b81b17e3b?f=video,"ESTAS Respostas Poucos Sabem ""Brain <b>Test</b>"" #1",https://avatars.mds.yandex.net/get-vh/5811343/2a00000180429688a113593b8944b066f53d/564x318_1,17:07,
test,http://rutube.ru/video/016773a106036e9d3cd619ace97011e0/,"Como passar o jogo Brain <b>Test</b> 2?  Respostas para todos os níveis",https://avatars.mds.yandex.net/get-vthumb/4407993/aa07260f286afde40d15abad02f816af/564x318_1,1:29:03,
test,http://rutube.ru/video/e54b2392b7dd3fe57fed6002aba5f833/,"Brain <b>Test</b> Passo a passo completo № 4 Mergulhamos no mundo dos quebra-cabeças",https://avatars.mds.yandex.net/get-vthumb/467972/c078458de66e698c5680527352261b9d/564x318_1,26:23,
test,http://rutube.ru/video/8fe868740089c3557d6d54e86ceca6a1/,"SpeedTest - SpeedTest - Teste de velocidade da conexão de internet",https://avatars.mds.yandex.net/get-vthumb/3446066/7cca0b8914479dcfe294b06246ea6df8/564x318_1,05:16,"223 mil visualizações no total"

Salvamento em formato SQL

Formato do resultado:

[%  FOREACH serp;
    "INSERT INTO serp VALUES('" _ query _ "', '";
    link _ "', '";
    snippet.replace("\n", '\n') _ "', '";
    summary.replace("\n", '\n') _ "')\n";
END %]

Exemplo de resultado:

INSERT INTO serp VALUES('test', 'http://www.youtube.com/v/lcYzh7IjJj0', '', '00:25 Enigma com tábuas\nPergunta: quantas tábuas existem aqui?\nResposta: nenhuma, pois foram desenhadas linhas extras nas tábuas e uma tábua passa suavemente para a outra\n01:10 Enigma com as pernas do elefante\nPergunta: quantas pernas o elefante tem?\nResposta: o elefante tem uma perna, localizada atrás, e todas as outras pernas não são reais\n02:00 Enigma com a mulher na janela\nPergunta: qual a diferença entre estas duas imagens?\nResposta: no canto inferior direito há uma toca de rato')
INSERT INTO serp VALUES('test', 'http://www.youtube.com/watch?v=VD2h2YUY_WQ', '', '00:01 Introdução\nO vídeo fala sobre o site online test pad, onde você pode criar testes, enquetes, palavras cruzadas e jogos de lógica.\nPara começar, você precisa se registrar usando o e-mail.\n00:35 Criação de teste\nApós o registro, você pode criar seus testes, enquetes, palavras cruzadas e jogos de lógica.\nO vídeo demonstra a criação de um teste do zero.\n01:06 Opções de perguntas\nO vídeo mostra como criar diferentes opções de perguntas: escolha única, entrada de texto, preenchimento de lacunas e outras.\nSão demonstrados exemplos de perguntas e respostas para cada opção.')
INSERT INTO serp VALUES('test', 'http://www.youtube.com/watch?v=P5rlifhgewY', '', '00:00 Introdução\nO vídeo é um teste de IQ, composto por cinco perguntas, que ajudará a determinar o nível de inteligência.\n04:00 Resultados do teste\nSe as primeiras opções de resposta forem escolhidas, o nível de felicidade é alto e a inteligência é média.\nSe as segundas opções de resposta forem escolhidas, o nível de inteligência é alto e o nível de felicidade é médio.\nSe diferentes opções de resposta forem escolhidas, o nível de inteligência e felicidade está no meio-termo.\n07:08 Conclusão\nO vídeo convida a compartilhar os resultados do teste com amigos e se inscrever no canal.\nSe atingirem 50 mil curtidas, prepararão outro teste.')
INSERT INTO serp VALUES('test', 'https://zen.yandex.ru/video/watch/625ed4e3099b9b7b81b17e3b?f=video', '"Brain <b>Test</b>" ► Passo a passo TODOS Tenham uma Boa Visualização :) Links: Música no Vídeo: https://www.youtube.com/watch?v=5qap5aO4i9A Discord Servidor ► https://discord.gg/4JWEu9URwB YouTube ►...', '')
INSERT INTO serp VALUES('test', 'http://rutube.ru/video/016773a106036e9d3cd619ace97011e0/', 'Passei o jogo Brain <b>Test</b> 2. Compartilho as respostas para todos os níveis. Passo a passo do jogo Brain <b>Test</b> 2 todas as partes: Emagrecendo com Nastya Fuga da Prisão Agente Bames Jond Família Sabichão Caçador de Monstros Vanya...', '')
INSERT INTO serp VALUES('test', 'http://rutube.ru/video/e54b2392b7dd3fe57fed6002aba5f833/', 'https://www.youtube.com/channel/UCgpWRYOfFZ0whXZ8F26KbUg Canal no YouTube https://t.me/DimaDaimont canal no telegram https://www.donationalerts.com/r/dimadaimont2 ajudar com o desenvolvimento...', '')

Dump de resultados em JSON

Formato geral do resultado:

[% IF notFirst;
  ",\n";
ELSE;
  notFirst = 1;
END;

obj = {};
obj.query = query;
obj.videos = [];

FOREACH item IN p1.serp;
    obj.videos.push({
        link = item.link
        anchor = item.anchor
        snippet = item.snippet
        service = item.service
        embed = item.embed
    });
END;

obj.json %]

Texto inicial:

Texto final:

Exemplo de resultado:

[{
  "videos": [
    {
      "embed": "<iframe src=\"//www.youtube.com/embed/lcYzh7IjJj0?enablejsapi=1&amp;wmode=opaque\" frameborder=\"0\" scrolling=\"no\" allowfullscreen=\"1\" allow=\"autoplay; fullscreen; accelerometer; gyroscope; picture-in-picture\" aria-label=\"Video\"></iframe>",
      "link": "http://www.youtube.com/v/lcYzh7IjJj0",
      "snippet": "",
      "anchor": "<b>Teste</b> de IQ com a ajuda de 10 fotos",
      "service": "YouTube"
    },
    {
      "embed": "<iframe src=\"//www.youtube.com/embed/VD2h2YUY_WQ?enablejsapi=1&amp;wmode=opaque\" frameborder=\"0\" scrolling=\"no\" allowfullscreen=\"1\" allow=\"autoplay; fullscreen; accelerometer; gyroscope; picture-in-picture\" aria-label=\"Video\"></iframe>",
      "link": "http://www.youtube.com/watch?v=VD2h2YUY_WQ",
      "snippet": "",
      "anchor": "Online <b>Test</b> Pad -como criar você mesmo um <b>teste</b>",
      "service": "YouTube"
    },
    {
      "embed": "<iframe src=\"//www.youtube.com/embed/UPOUE8ObCy8?enablejsapi=1&amp;wmode=opaque\" frameborder=\"0\" scrolling=\"no\" allowfullscreen=\"1\" allow=\"autoplay; fullscreen; accelerometer; gyroscope; picture-in-picture\" aria-label=\"Video\"></iframe>",
      "link": "http://www.youtube.com/watch?v=UPOUE8ObCy8",
      "snippet": "",
      "anchor": "Teste educativo simples <b>teste</b>.  Online <b>Test</b> Pad",
      "service": "YouTube"
    },
    {
      "embed": "<iframe src=\"//www.youtube.com/embed/Ha9Q1kHqCHA?enablejsapi=1&amp;wmode=opaque\" frameborder=\"0\" scrolling=\"no\" allowfullscreen=\"1\" allow=\"autoplay; fullscreen; accelerometer; gyroscope; picture-in-picture\" aria-label=\"Video\"></iframe>",
      "link": "http://www.youtube.com/watch?v=Ha9Q1kHqCHA",
      "snippet": "",
      "anchor": "Criamos <b>testes</b> com Online <b>Test</b> Pad #2",
      "service": "YouTube"
    }
  ],
  "query": "test"
}]

dica

Para que as opções "Prepend text" e "Append text" estejam disponíveis no Editor de tarefas, é necessário ativar "More options".

Configurações possíveis

nota

Configurações gerais para todos os scrapers

Parâmetro	Valor padrão	Descrição
Pages count	`5`	Número de páginas para extração de dados
New videos	`☐`	Vídeos recentes
Short videos	`☐`	Vídeos curtos

Visão geral do scraper​

Dados coletados​

Recursos​

Casos de uso​

Consultas​

Substituições de consultas​

Opções de exibição de resultados​

Exibição padrão​

Exibição em tabela CSV​

Salvamento em formato SQL​

Dump de resultados em JSON​

Configurações possíveis​

Visão geral do scraper

Dados coletados

Recursos

Casos de uso

Consultas

Substituições de consultas

Opções de exibição de resultados

Exibição padrão

Exibição em tabela CSV

Salvamento em formato SQL

Dump de resultados em JSON

Configurações possíveis