Pular para o conteúdo principal

SE::YouTube - scraper completo do YouTube

YouTube

Visão geral do scraper​

Scraper de resultados de busca do YouTube. Graças ao scraper YouTube, você poderá obter grandes bases de links para vídeos, prontos para uso posterior. Você pode usar consultas da mesma forma que as digita na barra de pesquisa do YouTube. Usando o scraper youtube, é possível coletar os principais dados de um vídeo em modo de processamento em múltiplas threads. E para obter dados completos sobre cada vídeo, você pode usar o SE::YouTube::VideoSE::YouTube::Video

A funcionalidade do A-Parser permite salvar as configurações de extração de dados do scraper YouTube para uso posterior (presetes), definir um cronograma de extração de dados e muito mais. Você pode usar a multiplicação automática de consultas, substituição de subconsultas a partir de arquivos, combinação de caracteres alfanuméricos e listas para obter o máximo possível de resultados.

A gravação dos resultados é possível no formato e estrutura que você necessita, graças ao poderoso motor de modelos integrado Template Toolkit que permite aplicar lógica adicional aos resultados e exibir dados em vários formatos, incluindo JSON, SQL e CSV.

Dados coletados​

Os dados são coletados do serviço http://www.youtube.com/.

  • Resultados principais
    • Link para o vídeo
    • Título do vídeo (title)
    • Descrição do vídeo
    • Nome de usuário
    • Link para a imagem de pré-visualização (thumbnail)
    • Número de visualizações
    • Duração do vídeo
    • Data de adição do vídeo
    • Número de inscritos do canal
    • Descrição por IA (summary), se disponível
Dados coletados
  • Array de "Consultas relacionadas"
    • Palavra-chave
    • Link para a pré-visualização

Recursos​

  • Número máximo de páginas para extração de dados no Youtube - 50 páginas
  • Escolha do país de onde a busca é realizada
  • Busca por data de adição
  • Escolha do tipo de resultado (vídeos, canais, playlists)
  • Escolha da duração do vídeo
  • Configuração avançada de parâmetros de busca (legendas, 3D, HD, ao vivo, licença Creative Commons)
  • Sort (Ordenação) por relevância, data de adição, classificação, número de visualizações
  • Extrai adicionalmente o link para a pré-visualização do vídeo
  • Possibilidade de escolher o idioma da interface
  • Possibilidade de ativar o modo de busca segura

Casos de uso​

  • Busca, coleta e análise de informações no Youtube

Consultas​

Como consultas, é necessário indicar frases de pesquisa, por exemplo:

Futebol   
Cataratas do Niágara   
Speak in english  
Cats and dogs  
Automóveis

Substituições de consultas​

Você pode usar macros integradas para a multiplicação de consultas, por exemplo, se quisermos obter uma base muito grande de fóruns, indicaremos algumas consultas principais em diferentes idiomas:

forum
fórum
foro

No formato de consultas, indicaremos a alternância de caracteres de a até zzzz, este método permite rotacionar ao máximo os resultados de busca e obter muitos novos resultados únicos:

$query {az:a:zzzz}

Esta macro criará 475254 consultas adicionais para cada consulta de pesquisa inicial, o que resultará em um total de 4 x 475254 = 1901016 consultas de pesquisa, um número impressionante, mas que não é problema para o A-Parser. Com uma velocidade de 2000 consultas por minuto, essa tarefa será processada em apenas 16 horas.

Opções de exibição de resultados​

O A-Parser suporta formatação flexível de resultados graças ao motor de modelos integrado Template Toolkit, o que permite exibir resultados em forma livre, bem como estruturada, por exemplo CSV ou JSON

Exportação de lista de links​

Igual ao SE::Google.

Formato do resultado:

[% FOREACH item IN p1.serp;    loop.count _ ' - ' _ item.link _ ' - ' _ item.title _ ' - ' _ item.desc _ "\n"; END %]

Exemplo de resultado:

1 - https://www.youtube.com/watch?v=dm_T7H6J2U8 - O QUÃO INTELIGENTE VOCÊ É? Teste Simples que muitos adultos não passarão - Neste vídeo você poderá verificar o quão inteligente você é. Espera por você um <b>teste</b>, composto por perguntas simples de nível escolar ...
2 - https://www.youtube.com/watch?v=iDAYNEV9Kxg - Teste japonês único para o envelhecimento do cérebro! Certifique-se de testar a si mesmo! - Japonês único <b>teste</b> para o envelhecimento do cérebro! Certifique-se de testar a si mesmo! Este <b>teste</b> foi desenvolvido no Japão. Como ...
3 - https://www.youtube.com/watch?v=0PEy2_sSy6A - Este Teste Simples Revelará Seu Medo Mais Oculto - Nosso subconsciente — é um lugar bastante sombrio, para entendê-lo são necessários longos anos de psicanálise. E este ...
4 - https://www.youtube.com/watch?v=j6K9nIugzAY - India vs England 2nd Test Day 4 Highlights 2021| Royal Sports Tv - India vs England 2nd <b>Test</b> Day 4 Highlights 2021 India vs England 2nd <b>Test</b> Day 4 Highlights 2021 | ind vs eng <b>test</b> series India vs ...
5 - https://www.youtube.com/watch?v=ALDqwSMVYKQ - TESTE PSICOLÓGICO/ 929 SEGUNDOS DE RISO/MELHORES PIADAS DE FEVEREIRO DE 2021 RISO/TENTE NÃO RIR! BEST COUB - Canal do Telegram: https://t.me/CrazyHumor129k NO CANAL VOCÊ ENCONTRARÁ 929 SEGUNDOS DE RISO EXCELENTE COM OS MELHORES ...
6 - https://www.youtube.com/watch?v=6X1puBtvc_s - Série Teste de Gravidez Episódio 1 - série russa 2015 HD - Estreia da série - <b>Teste</b> de gravidez Episódio 1 - série russa 2015 Após a morte da paciente, a ginecologista Natalya ...
7 - https://www.youtube.com/watch?v=hXuhVD7Dwp0 - Teste! Ilusões de Ótica que Revelarão uma Verdade Inesperada Sobre Você! - <b>Teste</b>! ! Ilusões de Ótica que Revelarão uma Verdade Inesperada Sobre Você! Existem muitos tipos diferentes de ...
8 - https://www.youtube.com/watch?v=BYA8lY4o33A - Teste! QUAL ANIMAL É O SEU TALISMÃ? Qual predador se esconde na sua alma? Teste preciso de caráter - <b>Teste</b>! ! QUAL ANIMAL DIVINO VOCÊ É? Qual predador se esconde na sua alma? <b>Teste</b> preciso de caráter Para isso ...
9 - https://www.youtube.com/watch?v=V-kqty2vAm4 - Teste! ALGUÉM ESTÁ SECRETAMENTE APAIXONADO POR VOCÊ! DESCUBRA QUEM! - <b>Teste</b>! ! ALGUÉM ESTÁ SECRETAMENTE APAIXONADO POR VOCÊ! DESCUBRA QUEM! Você frequentemente se sente sozinho e sonha em encontrar o verdadeiro ...
10 - https://www.youtube.com/watch?v=9HtbSe_oJto - Faça este Teste e verifique sua Atenção - Neste vídeo verificaremos o quão desenvolvida está sua atenção. Esperam por você diferentes tipos de tarefas com vários níveis ...
...

A ferramenta integrada tools.CSVLine permite criar documentos tabulares corretos, prontos para importação no Excel ou Google Planilhas.

Formato geral do resultado:

[%  FOREACH i IN p1.serp;    tools.CSVline(i.link, i.title, i.desc); END  %]

Nome do arquivo:

$datefile.format().csv

Texto inicial:

Link,Âncora,Snippet

dica

No Formato geral de resultados é aplicado o motor de modelos Template Toolkit para exibir o array $serp em um ciclo FOREACH.

No nome do arquivo de resultados, basta alterar a extensão do arquivo para csv.

Para que a opção "Prepend text" esteja disponível no Editor de tarefas, é necessário ativar "More options". No "Prepend text", escrevemos os nomes das colunas separados por vírgula e deixamos a segunda linha vazia.

Concorrência de palavras-chave​

Igual ao SE::Google.

Salvando em formato SQL​

Formato do resultado:

[%  FOREACH serp;   "INSERT INTO serp VALUES('" _ query _ "', '";   link _ "', '";  title _ "')\n"; END  %]

Exemplo de resultado:

INSERT INTO serp VALUES('teste', 'https://www.youtube.com/watch?v=dm_T7H6J2U8', 'O QUÃO INTELIGENTE VOCÊ É? Teste Simples que muitos adultos não passarão')
INSERT INTO serp VALUES('teste', 'https://www.youtube.com/watch?v=iDAYNEV9Kxg', 'Teste japonês único para o envelhecimento do cérebro! Certifique-se de testar a si mesmo!')
INSERT INTO serp VALUES('teste', 'https://www.youtube.com/watch?v=0PEy2_sSy6A', 'Este Teste Simples Revelará Seu Medo Mais Oculto')
INSERT INTO serp VALUES('teste', 'https://www.youtube.com/watch?v=BYA8lY4o33A', 'Teste! QUAL ANIMAL É O SEU TALISMÃ? Qual predador se esconde na sua alma? Teste preciso de caráter')
INSERT INTO serp VALUES('teste', 'https://www.youtube.com/watch?v=5Se6w0lOkyY', 'Novo Renault Duster. Test-drive. Anton Avtoman.')
INSERT INTO serp VALUES('teste', 'https://www.youtube.com/watch?v=Ko8cFdoOV6U', 'Teste! QUE TIPO DE GAROTA VOCÊ É? Quem há mais em você, LADY ou TOMBOY?')
INSERT INTO serp VALUES('teste', 'https://www.youtube.com/watch?v=j6K9nIugzAY', 'India vs England 2nd Test Day 4 Highlights 2021| Royal Sports Tv')
INSERT INTO serp VALUES('teste', 'https://www.youtube.com/watch?v=9HtbSe_oJto', 'Faça este Teste e verifique sua Atenção')
INSERT INTO serp VALUES('teste', 'https://www.youtube.com/watch?v=V-kqty2vAm4', 'Teste! ALGUÉM ESTÁ SECRETAMENTE APAIXONADO POR VOCÊ! DESCUBRA QUEM!')
...

Dump de resultados em JSON​

Igual ao SE::Google.

Processamento de resultados​

O A-Parser permite processar resultados diretamente durante a extração de dados; nesta seção, apresentamos os casos mais populares para o scraper YouTube

Igual ao SE::Google.

Igual ao SE::Google.

Extração de domínios​

Igual ao SE::Google.

Remoção de tags de títulos e descrições de vídeos​

Adicionar Result Builders (Construtor de resultados) e na lista suspensa escolher a fonte: $p1.serp.$i.title - Title. Escolher o tipo: Remove HTML tags.

Adicionar novamente Result Builders (Construtor de resultados) e na lista suspensa escolher a fonte: $p1.serp.$i.desc - Description. Escolher o tipo: Remove HTML tags.

Baixar exemplo

Como importar o exemplo para o A-Parser

eJyVVMtu2zAQ/BWBMJAGUI3k0ItujlsjLZw4tZ1D4fjASCuBDUWyJOXGEPTv3aVo
y07TQ2/kPmb2MWTLPHcv7sGCA+9YtmmZCWeWsdWXLPuhm3XzDMkSar2D5HZ9N088
r1xSWl0na+EluISrIvkMLrfCeKGVYykz3DqwBLg5xUFPASVvpGdpy/zeAPIgsLWi
IKco8G54BbluFMawHZcNxlx3/w4vta25x6ID6iGDjZDfjHvnh4uRp1KTj8mowEKf
ntTFJeu225T1eW4W4ijNXI/jBI7OFd/BWhOVkDCYZ3i753UgK7gH8h4IL8f+lRB4
UQiaCZc9A01kYH1U4lcoVmmMxaMV4GY4WTR5CABk3B+q27BRuDOEaELu9z6HZSWX
DlLmsNQZx0KKtx7hwXKv7SLuKGuZVhMp57ADOYQF/JtGyALXNykx6WtMfD9k8RdG
d2zvlAqX9ttiDUeUcLtZ3A1ZhZ7rCjsvnrFvKWrh8e6mQQkZu0LjC4A5zuyeZlZr
C0eaiBzZUdMGFClkWNnEDKazNs7WcmJsmdONzZFvc5VuGGkKU4OYGMknatKG53Hr
a0k7t5bv0XgIJuX0GaTi9/BIk/8FFxI6TMi1KkW1iE/i0Eaj1viqF2qqayOBhq4a
KVEzDpaDdicuaoQuw/TeJk8DRSCNLxdr0NJ9W/VzNFZgSZ/SWPUpa4TMuZSPy/mp
hw16D1p3BJvjI6o0ypvmHvSfsUrrKjw6eDX4zwAuz9sGui11H3+Z4+/Vnv01Wduh
qn66hz6KuqQYtOG4HEqG/pU/xum9JQ==
dica

O construtor de resultados pode ser adicionado quantas vezes você precisar.

Veja também: Construtor de resultados

Igual ao SE::Google.

Configurações possíveis​

nota

Configurações comuns para todos os scrapers

Nome do parâmetroValor padrãoDescrição
DeviceDesktopEscolha do tipo de exibição (Desktop/Mobile)
Pages count10Número de páginas para extração de dados (de 1 a 50)
Search from countryAuto (Based on IP)Escolha do país de onde a busca é realizada
Interface languageEnglishEscolha do idioma da interface
Restricted mode☐Ativar/desativar o "Modo Seguro" de busca
Uploaded timeAll timeBusca por data de adição
Result typeVideoEscolha do tipo de resultado
DurationAllEscolha da duração do vídeo
FeaturesAllConfiguração avançada de parâmetros de busca
Sort byRelevancyOrdenação dos resultados
Advanced filters (param sp=)Permite especificar combinações complexas de filtros. Para isso, você deve pegar o valor do parâmetro sp na URL no navegador e inseri-lo neste campo. Este valor tem prioridade sobre os filtros definidos nas configurações do scraper.