Scrapers em JS: exemplos
Aqui estão selecionados apenas alguns exemplos de uso de scrapers JavaScript, demonstrando a funcionalidade principal. Muitos outros exemplos estão publicados no Catálogo de scrapers
🔗 JS::TitleParser
Extração de dados da tag HTML title em uma página arbitrária
🔗 JS::TextFromSE
Combinação de vários scrapers integrados em um só
🔗 Download de arquivos
Exemplo de salvamento de arquivos de qualquer tamanho diretamente no disco
🔗 Trabalhando com CAPTCHA
Exemplo de scraper JS para trabalhar com captchas
🔗 Trabalhando com ReCaptcha2
Exemplo de scraper JS para trabalhar com recaptchas
🔗 Trabalhando com scrapers prontos
Exemplo de obtenção de resultados de um scraper pronto dentro de um scraper JS
🔗 Trabalhando com banco de dados SQLite
Exemplo de criação de tabela, inserção e seleção de dados
🔗 Trabalhando com banco de dados MySQL
Exemplo de trabalho com o módulo mysql2, este scraper coleta links dos resultados do Google e os grava no banco de dados
🔗 Navegação por páginas
Exemplo de extração de dados de um site por consulta com navegação entre páginas
🔗 Filtragem por múltiplos critérios
Exemplo de filtragem de páginas por um grande número de critérios, utiliza fs para ler o arquivo de critérios
🔗 Filtragem de imagens pelo seu conteúdo
Exemplo de uso do Google Vision para determinar o conteúdo das imagens
🔗 Postagem em blogs Wordpress
Postagem de mensagens em blogs Wordpress usando a tecnologia xmlrpc
🔗 Envio de e-mails
Exemplo de trabalho com nodemailer (envio de e-mails a partir de um scraper JS). Utiliza Yandex SMTP.
🔗 Criação de capturas de tela de páginas
Demonstração de trabalho com puppeteer (Chrome) no exemplo de criação de capturas de tela de sites
🔗 Notificações do Telegram
Receba notificações no Telegram sobre o fim do prazo de registro de domínios