Scrapers JS : exemples
Voici seulement quelques exemples d'utilisation des scrapers JavaScript, illustrant les fonctionnalités de base. Beaucoup plus d'exemples sont publiés dans le Catalogue des scrapers
🔗 JS::TitleParser
Collecte de données de la balise HTML title sur une page arbitraire
🔗 JS::TextFromSE
Combinaison de plusieurs scrapers intégrés en un seul
🔗 Téléchargement de fichiers
Exemple de sauvegarde de fichiers de n'importe quelle taille directement sur le disque
🔗 Gestion des CAPTCHA
Exemple de scraper JS pour travailler avec les captchas
🔗 Gestion de ReCaptcha2
Exemple de scraper JS pour travailler avec les recaptchas
🔗 Utilisation de scrapers existants
Exemple de récupération de résultats d'un scraper existant à l'intérieur d'un scraper JS
🔗 Utilisation de la base de données SQLite
Exemple de création de table, d'insertion et de sélection de données
🔗 Utilisation de la base de données MySQL
Exemple d'utilisation du module mysql2, ce scraper collecte les liens des résultats Google et les écrit dans la BD
🔗 Navigation par pages
Exemple de collecte de données d'un site par requête avec navigation à travers les pages
🔗 Filtrage par critères multiples
Exemple de filtrage de pages par un grand nombre de critères, utilise fs pour lire le fichier des critères
🔗 Filtrage d'images par leur contenu
Exemple d'utilisation de Google Vision pour déterminer le contenu des images
🔗 Publication sur des blogs Wordpress
Publication de messages sur des blogs Wordpress via la technologie xmlrpc
🔗 Envoi d'e-mails
Exemple d'utilisation de nodemailer (envoi d'e-mails depuis un scraper JS). Utilise Yandex SMTP.
🔗 Création de captures d'écran de pages
Démonstration de l'utilisation de puppeteer(Chrome) avec l'exemple de création de captures d'écran de sites
🔗 Notifications Telegram
Recevoir des notifications dans Telegram concernant l'expiration de l'enregistrement des domaines